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本 书 不 但 讲解 高 性 能 分 布 式 实时 处 理 系统 编程 的 原理 ， 特 别 对 内 存 资 源 管理 、 编 码 解决 方案 、 并 发 与 异步 处 理 、 线 程 模型 、 
批 处 理 与 实时 处 理 的 区 别 、 消 息 队列 、 动 态 装载 等 作 了 详细 介绍 ， 还 深入 分 析 了 实时 处 理 系统 的 架构 以 及 内 部 实现 ， 最 后 详细 分 
析 了 怎样 实现 一 套 分 布 式 实时 处 理 系统 Hurricane。 本 书 非常 适合 大 数据 开发 人 员 和 架构 师 阅读 ， 同 时 可 以 解决 性 能 优化 的 很 多 


问题 。 
一 一 卢 亿 雷 ，AdMaster 技 术 副 总 裁 兼 总 架构 师 


分 布 式 系统 可 以 追溯 到 20 世 纪 60 年 代 的 ARPANET。 随 着 物 联网 、 边 缘 计算 和 其 他 相关 领域 的 鞍 勃 发 展 ， 对 高 性 能 分 布 式 实 
时 处 理 系统 的 需求 日 益 增多 。 这 本 技术 专著 着 眼 于 实际 分 布 式 框架 的 编程 应 用 ， 将 助力 有 志 于 该 领域 的 软件 开发 人 员 。 


一 一 安宁 ，Otacle 空 间 数据 部 门 首席 工程 师 、IEEE 高 级 会 员 和 ACM 终 身 会 员 


本 书 不 仅仅 是 一 部 讲授 代码 编写 的 书籍 ， 还 是 一 个 开源 社区 的 星星 火种 ， 我 特别 推荐 所 有 对 实时 大 数据 分 析 感 兴趣 的 同业 中 
人 阅读 此 书 ， 并 以 此 作为 迈 入 下 一 个 开源 大 时 代 的 第 一 步 。 


一 一 徐 立 冰 ， 思 科 系 统 高 级 客户 经 理 


通常 来 说 ， 在 互联 网 +、 大 数据 时 代 盛 行 拿 来 主义 ， 有 开源 的 Spark、Strom， 绝 对 不 会 动 自己 构建 分 布 式 系统 的 心思 。 但 
是 作者 不 然 ， 深 厚 的 C++ 功 底 以 及 对 分 布 式 计算 框架 的 深度 理解 ， 构 建 了 高 性 能 分 布 式 、 实 时 处 理 系 统 Hurricane， 进 入 了 更 高 
层次 的 追求 。 


静 下 心 来 ， 这 本 书 将 对 自己 的 C++ 编 程 、 分 布 式 存储 系统 、 分 布 式 计算 框架 、 分 布 式 通信 等 知识 进行 了 洗礼 ， 不 知 不 觉 间 
就 提升 了 自己 的 层次 ， 期 待 阅读 本 书 之 后 ， 也 可 以 构建 一 个 全 新 的 分 布 式 实时 处 理 系统 ， 变 成 分 布 式 实时 计算 领域 的 贡献 者 。 
路 已 铺 好 ， 如 何 贡献 ， 那 是 追求 。 


一 一 于 俊 ， 科 大 讯 飞 大 数据 专家 


“天 下 武功 ， 无 坚 不 摧 ， 唯 快 不 破 ”， 如 果 说 以 MapReduce、Spark 等 为 代表 的 批 处 理 方式 ， 是 数据 处 理 的 “ 坚 ”， 则 
Storm、Hurricane 等 流 处 理 系 统 ， 充 分 体现 了 数据 处 理 的 “ 快 ”。 本 书 由 浅 到 深 ， 从 基础 的 分 布 式 系统 的 概念 、 网 络 通 信和 
C++11 高 性 能 编程 ， 到 流 处 理 中 的 消息 、 消 息 源 、 处 理 单元 、 收 集 器、 计算 拓扑 等 重要 抽象 的 实现 ， 到 日 志 处 理 、 频 繁 组 合 等 
典型 应 用 ， 深 入 研究 了 一 个 典型 分 布 式 流 处 理 系统 的 各 个 重要 方面 ， 推 荐 。 





RR, MAA ALAS 


分 布 式 实时 处 理 系统 ， 难 就 难 在 把 分 布 式 和 实时 处 理 结合 起 来 。 本 文 从 拆 解 留言 板 系统 开始 节 节 升级 ， 直 至 推出 Hurricane 
实时 处 理 系 统 ， 旁 征 博 引 ， 纲 举目 张 。 充 分 体现 了 分 布 式 构建 和 实时 处 理 的 细节 考虑 。 





BR, BMRA (PAR) 研发 有 限 公 司 服务 器 与 平台 架构 部 门 研 发 经 理 


作者 以 他 参与 Cisco 和 Autodesk 诸 多 大 型 系统 开发 时 所 积累 的 经 验 以 及 对 开源 技术 多 年 的 钻研 铸就 本 书 。 本 书 由 理论 到 应 
用 ， 由 实现 到 优化 ， 由 浅 入 深 ， 抽 丝 剥 昔 地 把 这 么 浩 繁 的 概念 在 本 书 中 讲 得 十 分 清晰 。 


一 一 张 洋 ，Autodesk (PH) 研发 中 心平 台 架 构 研 发 部 门 经 理 


正如 “如 何 阅读 本 书 ” 中 说 的 一 样 ，“ 本 书 从 最 基本 概念 作为 引子 ， 逐 步 引 入 高 性 能 分 布 式 实时 处 理 系统 编程 所 需要 的 方 方 
面 面 ， 抽 丝 剥 芋 把 实时 处 理 系统 的 架构 以 及 实现 娓 娓 道 来 ”， 有 概念 、 有 理论 ， 有 本 身 知 识 体系 的 交代 ， 也 有 周边 必要 知识 内 容 
的 说 明 ， 有 实战 、 有 案例 ， 不 空谈 ， 能 落地 ， 是 一 本 不 可 多 得 的 学 习 分 布 式 实时 架构 的 好 书 。 








届 锋 ， 知 名 大 数据 布道 者 和 践 行者 


序 一 


2016 年 春节 刚 过 ， 此 时 距离 我 出 版 《 腾 云 》 已 经 过 去 三 年 ， 而 写作 一 本 技术 书籍 的 艰辛 仍然 历历 在 目 。 我 身边 有 不 少 大 拿 
级 别 的 牛人 ， 不 少 都 被 出 版 社 试探 过 ， 但 真正 动笔 的 寥寥 可 数 ， 主 要 原因 是 写 书 实在 不 是 一 件 吃饭 喝酒 般 轻 描 淡 写 的 事情 。 在 被 
本 职工 作 和 家 庭 琐事 折腾 得 死去 活 来 的 间 阶 ， 强 打 起 精神 一 砖 一 瓦 地 堆砌 出 几 十 万 字 ， 想 想 就 让 人 却步 ， 而 这 个 过 程 往往 历时 数 
月 ， 这 意味 着 你 要 过 上 小 一 年 的 苦行 僧 式 生活 。 若 不 是 对 书 中 主题 保持 着 异乎 寻常 的 兴趣 和 坚定 不 移 的 信念 ， 一 般 人 不 会 轻易 开 
始 这 段 苦 旅 。 正 是 因为 这 个 原因 ， 我 相信 卢 誉 声 的 这 本 书 一 定 是 个 干货 满 满 的 好 东西 。 


优秀 的 技术 书籍 都 有 一 个 特点 ， 那 就 是 自 下 而 上 的 阐述 方式 ， 从 最 底层 、 最 实际 的 操作 层面 入 手 ， 而 不 是 形 而 上 的 口号 式 概 
念 ， 而 本 书 则 正 是 这 样 一 本 书 。 读 者 从 第 1 章 就 能 实际 触摸 到 实 操 的 快感 ， 书 中 讲解 了 大 量 实例 ， 我 常 说 “一 百 字 的 定义 ， 不 如 
一 句 话 的 实例 ”， 通 过 这 些 范例 ， 读 者 可 以 快速 获得 感性 认识 ， 进 而 随 着 章节 的 推进 把 这 些 认 知 归纳 总 结 为 自己 能 够 掌握 的 方法 
论 。 在 游泳 中 学 习 游 泳 ， 说 的 就 是 这 种 简单 、 实 用 的 学 习 思 路 。 而 考验 一 个 作者 功力 的 地 方 ， 就 是 他 能 否 针 对 每 个 关键 概念 提出 
恰当 清晰 的 例子 ， 并 阐述 清楚 。 从 我 读 到 的 篇 章 来 看 ， 卢 誉 声 的 这 个 工作 完成 得 相当 不 错 。 这 样 一 本 朴实 而 扎实 的 技术 书籍 反映 
的 是 作者 的 态度 ， 作 为 读者 ， 在 阅读 过 程 中 我 可 以 感受 到 字面 下 作者 热切 希望 跟 广 大 同行 分 享 的 激情 ， 那 种 把 自己 的 认识 和 盘 托 
出 的 诚 尽 是 每 一 个 痴迷 于 技术 的 工程 师 都 和 有 过 的 感受 ， 卢 誉 声 体 会 过 ,我 体会 过 ， 这 本 书 示 来 的 大 多 数 读 者 都 体会 过 。 正 是 这 种 
对 技术 的 诚恳 让 我 相信 本 书 值 得 一 读 。 


回 过 头 来 我 想 说 说 对 开源 的 认识 。 本 书 由 Apache Storm 说 开 ，Apache storm 作 为 一 个 顶级 开源 项 目 在 业界 的 影响 力 无 需 
多 言 ， 为 了 了 解 项 目的 背景 ， 我 特意 读 了 Storm 项 目的 孕育 者 Nathan Marz 的 长 文 《History of Apache Storm and lessons 
learned》。 我 发 现 ， 虽 然 Nathan 充 分 认识 到 Storm 能 够 带 来 的 商业 潜力 〈 赶 在 Twitter 收购 前 公开 展示 Storm 的 效果 ) ， 但 他 
从 来 没有 动摇 过 将 这 个 项 目 完全 开源 的 打算 ， 甚 至 应 该 反 过 来 阅 ， 他 从 来 没 想 过 要 将 Storm 作 为 一 个 私有 计划 保持 下 去 。2011 
年 /月 ，Nathan 所 在 的 BackType 正 式 被 Twitter 收购 ， 几 乎 毫 不 犹豫 的 ， 他 旋即 开始 着 手 将 Storm 开 源 ， 这 之 后 便 是 大 家 熟悉 的 
故事 ，Storm 以 令 人 炫目 的 速度 吸收 开发 者 ， 并 在 短 短 三 年 后 ， 于 2014 年 9 月 17 日 正式 成 为 Apache 顶 级 项 目 。 


为 什么 会 有 开源 运动 ? 这 已 经 是 一 个 无 法 再 吸引 注意 力 的 老 旧 话题 ， 无 数 人 从 商业 、 技 术 、 社 会 等 领域 给 出 了 无 数 严 密 的 解 
答 ， 但 我 们 真 的 从 心里 认可 这 种 行为 了 吗 ? 特别 是 在 国内 的 商业 环境 下 ， 广 大 工程 师 每 天 享受 开源 项 目的 成 果 之 余 ， 真 的 理解 开 
源 运 动 的 深意 了 吗 ? 至 少 对 我 来 说 ， 花 了 很 长 一 段 时 间 才 得 出 能 够 说 服 自己 的 解释 。 


第 一 个 我 无 法 理解 的 现象 就 是 ， 开 源 并 没有 带 来 可 量化 的 商业 价值 。 作 为 开源 世界 的 老大 哥 ，Red Hat 的 管理 层 向 股东 保证 
在 2016 财 年 达到 20 亿 美元 销售 额 ， 此 时 距离 Red Hat 成 立 已 经 超过 20 年 。 作 为 对 比 ，2015 财 年 Microsoft 的 销售 额 超过 930 亿 美 
元 ， 如 果 说 今日 的 微软 已 经 包括 了 游戏 机 硬件 、 搜 索 等 与 软件 不 相关 的 业务 ， 那 么 另 一 个 传统 软件 领域 的 代表 Oracle 在 2015 年 
莒 收 达 到 382 亿 美元 ， 而 SAP 也 有 200 亿 美元 。 这 些 被 嘲笑 成 “史前 恐龙 ”的 传统 软件 厂商 在 不 同 场合 被 描述 为 落后 生产 力 的 代 
表 ， 它 们 站 在 开源 潮流 的 对 立 面 ， 出 于 狭隘 的 商业 利益 ， 沿 着 封闭 、 自 我 的 路 线 一 意 孤 行 。 可 事实 是 ， 软 件 产业 说 到 底 同 卖 手 
机 、 卖 汽车 一 样 ， 仍 然 是 一 门生 意 ， 遵 循 用 户 用 脚 投 票 的 商业 规律 ， 既 然 开 源 这 么 美好 ， 为 什么 没有 像 苹果 手机 一 样 ， 通 过 巨大 


的 商业 成 功 快速 颠覆 原 有 模式 呢 ? 


男 一 个 一 直 以 来 我 没 想 明 白 的 问题 是 ， 作 为 最 终 用 户 的 工程 师 为 什么 要 拥抱 开源 呢 ? 开 源 固然 可 以 给 程序 员 带 来 莫大 的 快 
感 ， 不 管 是 个 人 成 就 还 是 物质 回报 ， 以 往 依附 于 大 型 软件 公司 的 独立 程序 员 现在 有 机 会 在 社区 通过 个 人 贡献 树立 更 大 的 影响 力 ; 
可 是 对 于 绝 大 使 用 这 些 产 品 的 工程 师 来 说 ， 开 源 和 商业 产品 的 区 别 就 没有 那么 大 了 ， 而 使 用 开源 还 伴随 着 学 习 成 本 和 不 稳定 的 后 
期 支持 。 即 使 如 此 ， 我 们 周围 抵触 开源 的 声音 却 越 来 越 小 ， 即 使 那些 最 老 资历 、 最 忠诚 的 Oracle DBA 也 开始 接触 MySQL， 很 有 


E=- 
意思 ? 


把 时 间 拉 回 20 世 纪 90 年 代 ， 彼 时 个 人 电脑 还 是 黑 科 技 代表 之 一 ， 学 校 还 会 开设 “电脑 课 ” 教授 基 本 操作 ， 这 类 课程 中 往往 
很 重要 的 一 个 章节 就 是 “五 笔 打 字 ” 法 。 打 字 这 个 技巧 放 在 今天 几乎 是 跟 走路 、 吃 饭 一 样 的 基本 生存 技能 ，90 后 一 代 已 经 很 难 
回忆 起 来 自己 是 在 哪个 时 刻 “ 学 ”会 了 打字 ， 大 多 数 都 是 自然 而 然 在 日 常生 活 中 磨 练 出 来 的 。20 年 前 的 一 门 专业 技巧 现在 已 经 
完全 融入 大 众生 活 ， 这 其 中 药 售 了 一 个 有 意思 的 规律 ， 即 任何 一 种 技能 都 会 随 着 时 间 的 推移 失去 门槛 ， 同 时 在 这 个 过 程 中 经 过 无 
数 人 的 实践 和 磨 练 ， 这 项 技能 已 经 进化 出 一 套 最 有 效率 的 模式 ， 后 来 者 可 以 跳 过 探索 、 试 验 的 过 程 ， 用 最 短 的 时 间 直 接 掌握 这 套 
模式 就 能 实现 之 前 高 手 级 别 才 能 达到 的 效果 。 在 打字 这 个 例子 中 ， 对 于 中 国人 来 说 目前 在 高 效 与 易学 间 取 得 最 佳 平衡 的 是 具备 联 
想 功能 的 拼音 输入 法 ， 因 此 年 轻 的 电脑 用 户 只 需 听从 朋友 推荐 下 载 正确 的 软件 ， 两 三 天 内 就 能 练 就 足够 应 付 日 常 交 流 的 打字 能 
力 。 


如 果 把 视线 拉 远 ， 欣 欣 向 荣 的 新 型 操作 系统 和 数据 库 正 是 这 种 技能 门槛 不 断 拉 低 的 现象 在 软件 领域 的 投射 。 操 作 系 统 、 大 型 
数据 库 这 些 领域 在 20 世 纪 90 年 代 是 皇冠 项 上 的 宝石 ， 全 世界 也 只 有 那么 一 小 艇 顶尖 专家 能 够 弄 明白 其 中 的 奥妙 ， 而 时 间 过 去 20 
年 ，Microsoft 们 已 经 培养 出 一 大 群 熟悉 这 些 大 型 系统 的 专家 ， 人 力 门槛 不 复 存 在 ， 而 搭建 一 个 操作 系统 或 数据 库 的 基本 方法 论 
现在 已 经 非常 成 熟 ， 因 此 开发 操作 系统 不 再 有 那么 次 眼 的 光环 ， 越 来 越 多 的 政府 机 构 、 企 业 、 科 研 机 构 甚至 个 人 进入 这 个 领域 ， 
并 且 取 得 不 错 的 成 果 。 这 完全 是 因为 最 初 的 那 一 批 精 英 已 经 填 平 了 这 条 路 上 的 大 坑 ， 并 将 他 们 提炼 出 来 的 最 优 方法 论 形成 “可 复 
制 的 经 验 ”， 而 后 来 人 能 够 直接 利用 这 些 “ 可 复制 的 经 验 ”， 快 速 经 过 基础 知识 积累 阶段 ， 直 接 针对 当下 的 难点 攻坚 ， 从 而 令 一 
些 出 色 的 后 来 者 能 够 进一步 推 高 整个 领域 的 高 度 。 


在 没有 开源 运动 的 时 代 ，“ 可 复制 的 经 验 ”的 传承 是 受到 严格 限制 的 ， 要 么 在 企业 内 部 形成 专利 ， 只 有 技术 团队 的 核心 成 员 
能 够 接触 到 ， 要 么 在 科研 机 构 的 高 墙 后 ， 少 部 分 有 能 力 进入 高 墙 后 的 精英 得 以 一 帘 究 竟 。 开 源 几乎 是 以 几何 倍数 放大 了 “可 复制 
的 经 验 ” 的 传播 速度 ， 这 种 方式 在 技术 领域 带 来 的 后 果 是 极 大 地 加 快 了 技术 本 身 的 演进 ， 这 很 好 理解 ， 因 为 参与 的 人 多 了 ， 众 人 
人 柴火 焰 高 ， 自 然 比 小 团体 的 做 法 有 效率 。 而 在 商业 领域 ， 开 源 则 念 资源 配置 更 有 效率 ， 开 源 行为 本 身 会 大 量 产生 “可 复制 的 经 
验 ”， 从 而 反 过 来 进一步 拉 低 特定 技术 领域 的 门槛 ， 加 速 技术 的 演进 ， 企 业 的 决策 者 发 现 新 技术 的 成 熟 速度 大 大 加 快 ， 因 此 他 们 
必须 更 加 积极 地 把 资源 配置 到 更 前 沿 的 领域 以 保持 竞争 力 。 回 到 Red Hat 的 例子 ， 虽然 这 家 公司 本 身 的 销售 额 永远 不 可 能 达到 
Microsoft 或 Oracle 的 高 度 ， 但 Red Hat 以 远 比 Microsoft 小 得 多 的 规模 提供 了 一 个 同样 可 靠 并 更 加 灵活 的 操作 系统 ， 为 整个 行业 
释放 出 大 量 优秀 工程 师资 源 ， 这 些 人 才 将 进入 云 计 算 、 大 数据 等 新 兴 行 业 ， 在 新 的 山头 攻坚 。 如 果 没 有 Red Hat 这 样 的 企业 以 最 
有 效率 的 方式 为 行业 提供 基础 设施 ， 新 的 技术 领域 很 难 建立 足够 的 人 才 队 伍 ， 整 个 行业 的 发 展 速 度 也 会 缓慢 下 来 。 因 此 ， 我们 不 
能 只 看 Red Hat 的 销售 额 ， 还 应 该 看 看 AWS、Salesforce 这 样 的 新 兴 玩 家 ， 正 是 因为 有 了 Red Hat， 才 有 后 者 的 高 速 发 展 。 对 于 
个 人 而 言 ， 这 种 大 趋势 是 不 可 阻挡 的 ， 聪 明 的 老 专 家 们 自然 会 即时 调整 方向 ,拥抱 开源 。 


开源 运动 近年 来 已 经 逐渐 突破 计算 机 软件 领域 ,开始 向 其 他 行业 扩展 ， 例 如 开源 服务 器 硬件 、 开 源 网 络 设备 ， 甚 至 开源 的 IT 
管理 流程 。 说 白 了 ， 开 源 是 一 种 新 时 代 的 知识 传承 模式 ， 未 来 的 世界 将 处 处 开源 ， 竞 争 的 壁垒 将 体现 在 高 效 协调 资源 的 能 力 ， 而 
不 是 对 特定 知识 的 独占 。 当 我 知道 卢 誉 声 将 把 书 中 提 到 的 Hurricane 完 全 开源 时 ， 我 非常 赞同 他 的 做 法 。 因 为 这 个 动作 ， 本 书 不 
仅仅 是 一 部 讲授 代码 编写 的 书籍 ， 还 是 一 个 开源 社区 的 星星 火种 ， 我 特别 推荐 所 有 对 实时 大 数据 分 析 感 兴趣 的 同业 中 人 阅读 此 
书 ， 并 以 此 作为 迈 入 下 一 个 开源 大 时 代 的 第 一 步 。 
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序 二 


mT, 我 陷入 纷繁 复杂 的 产品 问题 中 ， 难 以 自拔 ， 而 当 我 看 到 这 本 书 时 ， 感 想 良 多 ， 思 绪 万 干 。 想 到 我 刚 工作 时 非常 喜欢 一 
类 书 ，“xx 技 术 yy 天 从 入 门 到 精通 ”， 一 般 都 是 从 基本 概念 到 实际 操作 全 程 指导 ， 非 常 适合 入 门 新 手 。 随 着 工作 的 深入 和 扩展 ， 
百度 、 谷 歌 和 各 种 技术 论坛 、 知 识 库 又 成 为 更 常用 的 查询 工具 。 


然而 ， 正 如 武打 小 说 里 的 速成 功夫 或 者 一 招 鲜 ， 始 终 不 能 让 我 们 到 达 真 正高 手 的 境界 。 系 统 的 学 习 和 实践 一 门 技术 才 是 攀 上 
高 阶 的 王道 。 


a 


我 和 作者 誉 声 共事 多 年 ， 多 数 时 间 从 事 分 布 式 实时 处 理 系统 设计 和 实现 ， 誉 声 举一反三 ， 经 常 通 过 具体 案例 和 问题 ， 总 结 、 
归纳 出 规律 和 特点 ， 继 而 演绎 出 适应 性 更 强 的 结构 ， 我 受益 良 多 。 


现在 这 份 关于 分 布 式 实时 处 理 系统 的 佳作 由 浅 入 深 ， 由 易 到 难 。 从 头 读 来 ， 可 以 感受 到 完整 的 分 布 式 系统 的 清晰 脉络 。 尤 其 
难得 的 是 ， 既 有 高 屋 建 领 的 架构 设计 ， 又 有 C++ 最 细 、 最 艰深 的 要 点 剖析 ; 既 有 明确 的 理论 指导 ， 又 有 细节 到 代码 行 的 具体 实 
现 。 这 就 是 一 套 进 阶 大 规模 计算 领域 的 秘笈 。 

分 布 式 实时 处 理 系统 可 以 说 是 软件 发 展 中 里 程 碑 式 的 智慧 结晶 ， 凝 结 了 无 数 高 手 的 心血 ， 也 是 大 规模 业务 持续 推动 的 结果 。 


一 般 只 有 很 大 的 软件 公司 或 者 开源 组 织 有 能 力 投资 发 展 。 能 有 长 期 深入 的 实际 工作 经 验 很 不 容易 ， 可 以 看 出 本 书 都 是 实战 经 验 总 
yt 
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正如 文中 所 提 及 的 各 种 分 布 式 系统 ， 不 仅 要 求 架 构 合理 、 安 全 可 靠 、 性 能 优异 、 开 放 标 准 、 弹 性 互联 ， 而 且 对 于 每 行 代码 都 
有 严格 要 求 ， 更 难 的 是 需要 有 一 支 强大 的 团队 才能 坚持 到 成 功 。 而 作为 一 个 团队 ， 正 需要 每 个 人 都 要 有 本 文 所 体现 出 的 统一 意 


十 
Mo 


分 布 式 实时 处 理 系统 ， 难 就 难 在 把 分 布 式 和 实时 处 理 结合 起 来 。 本 文 从 拆 解 留言 板 系统 开始 节 节 升级 ， 直 至 推出 Hurricane 
系统 ， 旁 征 博 引 ， 纲 举目 张 。 充 分 体现 了 分 布 式 构建 和 实时 处 理 的 细节 考虑 。 


本 人 也 仍然 战斗 在 一 线 的 分 布 式 实时 处 理 系统 中 ， 深 感 个 中 艰难 ， 尤 其 是 带领 一 支 强大 战队 不 停 前 行 。 时 刻 需要 类 似 本 文 
的 “系统 综述 ”保障 团队 的 思想 统一 、 步 调 一 致 ， 不 断 创造 新 高 度 。 


在 这 里 ,我 愿意 推荐 好 文 与 君 共 给 。 在 软件 海洋 的 最 精彩 之 路 互 进 共勉。 
HK 
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并 行 计 算 和 分 布 式 系统 一 直 都 是 个 迷人 的 主题 。 近 十 年 来 ， 随 着 云 计算 和 大 数据 的 发 展 ， 它 也 逐渐 从 云端 走 下 。 如 今 ， 几 乎 
所 有 人 都 可 以 尝试 使 用 各 种 编程 语言 去 构建 各 种 规模 的 分 布 式 应 用 。 广 大 的 C++ 开发 者 也 被 深 深 地 吸引 ， 为 之 兴奋 。C++11 的 
发 布 让 这 门 已 有 三 十 多 年 历史 的 语言 充满 了 活力 ， 我 们 不 禁 想 问 : 这 特 多 项 C++11 的 新 特性 如 何 能 被 高 效 地 应 用 于 分 布 式 系统 
的 开发 ? 是 不 是 该 有 一 本 书 来 谈 谈 这 个 问题 呢 ? 


能 在 第 一 时 间 看 到 本 书 的 原稿 ， 我 感到 很 高 兴 。 因 为 这 就 是 一 本 关于 实时 分 布 式 系统 的 书 ， 一 本 关于 C++11 的 书 ， 更 是 一 
本 天 于 实战 的 书 。 全 书 以 Hurricane 这 个 自制 系统 为 例 ， 清 晰 地 将 实时 分 布 式 系统 从 概念 ， 到 实现 ， 再 到 应 用 和 部 署 完 全 地 呈现 
在 了 读者 面前 。 并 将 C++11 的 诸多 新 特性 贯穿 其 中 。 本 书 的 主题 是 探讨 互联 网 时 代 之 下 的 云 计 算 和 大 数据 处 理 的 高 效 实现 。 书 
中 所 述 的 高 性 能 编程 思想 和 C++11 应 用 放 在 其 他 类 型 系统 里 同样 适用 。 


这 是 一 本 讲 技术 的 书 ， 而 且 写 得 很 好 。 由 理论 到 应 用 ， 由 实现 到 优化 ， 由 浅 入 深 ， 抽 丝 剥 草地 把 这 么 浩 繁 的 概念 在 本 书 中 讲 
得 十 分 清晰 。 这 也 是 一 本 讲 技巧 的 书 ， 在 实现 高 性 能 系统 和 遇 到 困难 时 ， 定 会 派 上 很 大 用 场 。 这 还 是 本 有 活力 的 书 ， 无 论 是 
C++11、 大 数据 ， 还 是 Samuel、Lionel 这 两 个 书 中 的 年 经， 都 让 这 本 书 充满 了 朝气 。 


读 完 本 书 ， 尚 感 意犹未尽 。 作 者 以 他 参与 Cisco 和 Autodesk 诸 多 大 型 系统 开发 时 所 积累 的 经 验 以 及 对 开源 技术 多 年 的 钻研 铸 
就 本 书 。 相 信和 作者 的 写作 和 分 享 一 定 会 带 给 你 们 一 段 充满 乐趣 的 阅读 之 旅 。 


K 
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为 什么 要 写 这 本 书 


云 计 算 与 大 数据 为 计算 机 科学 领域 注入 了 前 所 未 有 的 活力 ， 而 大 数据 的 实时 处 理 更 是 为 海量 数据 处 理 和 数据 挖掘 带 来 了 狐 新 
的 契机 。 从 某 种 意义 上 讲 ， 传 统 大 数据 的 批 处 理 方式 已 经 一 定 程 度 上 解决 了 我 们 所 面临 的 问题 ， 由 MapReduce、Bulk 
Synchronous Parallel 以 及 其 他 计算 范式 衍生 而 来 的 大 规模 计算 集群 已 经 广泛 运用 于 生产 环境 中 。 然 而 ， 客 户 的 要 求 是 永 不 满足 
的 。 他 们 想 要 更 多 的 数据 、 服 务 、 价 值 以 及 更 多 的 便利 。 随 着 数据 量 的 增加 ， 对 实时 响应 时 间 的 需求 也 在 提高 ， 原 本 承载 着 海量 
数据 处 理 任务 的 批 处 理 系 统 在 实时 计算 处 理 方面 越发 显得 乏力 。 这 么 说 的 原因 很 简单 ， 像 Hadoop 使 用 的 MapReduce 这 样 的 数 
据 批 处 理 技术 ， 其 设计 初衷 并 不 是 为 了 满足 实时 计算 的 需求 。 数 据 批 处 理 系统 与 实时 处 理 系统 在 需求 上 存在 着 本 质 的 区 别 。 要 做 
到 实时 性 ， 不 仅 需 要 及 时 地 推送 数据 以 便 处 理 ， 还 要 将 数据 划分 成 尽 可 能 小 的 单位 ， 而 像 HDFs 人 存储 推送 数据 的 能 力 已 经 远 不 能 
满足 实时 性 的 需求 。 


虽然 目前 Apache Spark 等 新 平台 和 框架 越 来 越 为 流行 ， 同 时 极 大 提升 了 批 处理 的 性 能 ， 但 是 由 于 这 些 传统 批 处 理 系统 的 运 
行 机 制 本 身 ， 无 法 从 根本 上 解决 实时 计算 的 问题 。 
因此 ， 随 着 业务 数据 规模 的 爆炸 式 增长 ， 对 数据 实时 处 理 能 力 的 需求 也 越 来 越 大 。 专 注 于 实时 性 、 规 模 化 的 计算 平台 新 时 代 


已 经 悄然 来 临 。 


Apache Storm 的 出 现 扭转 了 传统 数据 批 处 理 系 统 的 劣势 ， 成 为 了 真正 意义 上 的 实时 数据 处 理 系统 。Storm 实 时 处 理 系统 实 
现 了 一 个 可 靠 的 、 高 容错 性 的 实时 分 布 式 处 理 平台 ， 那 么 这 些 听 起 来 十 分 抽象 的 概念 到 底 是 如 何 实现 的 呢 ? 这 其 实 就 是 笔者 写作 


本 书 的 目的 之 一 。 当 笔者 深入 研究 和 学 习 了 storm 的 内 部 结构 和 代码 实现 之 后 ， 就 在 思考 有 没有 什么 办 法 让 其 他 更 多 的 人 少 走 查 
路 ， 并 能 在 实践 中 对 这 个 看 似 “ 神 秘 ” 的 实时 处 理 系 统 的 设计 与 实现 融会 贯通 呢 ? 


本 书 特 色 


本 书 是 一 本 由 浅 入 深 并 详细 讲解 编写 一 套 全 新 的 基于 C/C++ 的 实时 处 理 系统 的 编程 实战 书 。 本 书 从 基础 知识 开始 ， 到 实时 
数据 系统 的 架构 设计 ， 到 代码 的 实际 编写 ， 逐 步 实现 一 个 完整 的 实时 数据 处 理 系统 。 本 书 把 这 套 全 新 的 高 性 能 分 布 式 实时 处 理 系 
统 命名 为 Hurricane， 该 单词 与 Storm 涵义 类 似 ， 但 略 有 不 同 ， 其 中 维基 百科 对 Hurricane 的 解释 是 “A storm that has very 
strong fast winds and that moves over water”， 即 “在 水 面 高 速 移 动 的 风 风 (storm)“ 


同时 ,为 了 支持 高 性 能 的 实时 处 理 系 统 ， 我 们 必须 提供 高 性 能 的 网 络 层 ， 能 够 支持 大 量 的 并 发 ， 因 此 本 书 设计 实现 了 一 套 跨 
平台 的 网 络 库 Meshy， 并 将 其 作为 Hurricane 实 时 处 理 系统 的 传输 层 。 


为 了 编写 更 清晰 、 易 于 移植 、 易 于 维护 的 现代 化 C++ 代码 ， 我 们 在 书 中 大 量 使 用 了 C++11 的 特性 ， 从 一 些小 的 语法 点 (如 
auto, override) 到 C++11 中 新 增加 的 库 (如 thread、chrono、functional) 到 一 些 翻天 覆 地 的 语法 特性 (如 统一 初始 化 、 
Lambda 表 达 式 ) 都 有 所 涉及 。 每 当 遇 到 新 的 C+ +11 知 识 时 ， 我 们 都 会 着 重 向 读者 介绍 。 由 于 目前 C+ + 14 还 不 够 普及 成 熟 ， 
此 在 本 书 中 暂 不 考虑 C++14 的 特性 。 


为 此 ， 本 书 一 开始 将 会 花费 大 量 篇 幅 介 绍 分 布 式 计算 存储 的 概念 以 及 网 络 通信 的 基础 知识 。 接 着 前 述 和 分 布 式 计算 存储 相关 
的 网 络 高 层 抽 象 知识 ， 为 构建 分 布 式 网 络 应 用 打下 坚实 基础 。 接 着 集中 介绍 本 书 需要 运用 的 C++ 相 关 知 识 ， 包 括 C++11 的 语言 
特性 以 及 需要 了 解 的 底层 知识 。 之 后 就 开始 介绍 Hurricane 实 时 处 理 系 统 的 设计 方案 ， 并 引导 读者 一 步 步 自己 实现 Hurricane 实 
时 处 理 系 统 。 


完成 Hurricane 实 时 处 理 系统 的 主体 功能 部 分 后 ， 我 们 转 而 介绍 Meshy， 阐 述 如 何 实现 Meshy 这 一 跨 平台 的 网 络 框架 ， 并 与 
Hurricane 实 时 处 理 系统 进行 对 接 。 为 了 实现 跨 平台 的 高 性 能 网 络 通信 库 ， 我 们 必须 学 习 使 用 epoll、IOCP 等 与 平台 密切 相关 的 
技术 来 保证 系统 性 能 。 同 时 ， 我 们 也 要 学 会 如 何 编写 管理 一 个 需要 考虑 移植 和 平台 兼容 性 的 系统 的 技巧 与 实践 方法 。 最 后 辅 以 实 
战 用 例 讲 解 如 何 将 该 系统 应 用 于 实际 的 生产 环境 中 。 


总 之 ，Hurricane 实 时 处 理 系 统 是 一 个 使 用 C++11 编 写 的 ， 以 高 性 能 为 关注 点 的 分 布 式 实时 计算 框架 ， 使 用 流 模 型 作为 计算 
模型 ， 同 时 提供 更 易于 理解 的 高 层 接口 。 


希望 读者 能 够 从 本 书 中 或 多 或 少 学 到 点 新 的 知识 ， 能 够 对 C+ + 语言 以 及 网 络 通信 有 更 加 深入 的 认识 ， 了 解 如 何 构建 一 个 可 
应 用 于 生产 环境 的 分 布 式 实时 处 理 系统 。 


如 何 阅 读本 书 


本 书 以 最 基本 的 云 计算 与 大 数据 概念 作为 引子 ， 逐 步 引 入 高 性 能 分 布 式 实时 处 理 系 统 编 程 所 需要 的 知识 ， 抽 丝 剥 草地 把 有 关 
实时 处 理 系统 的 架构 以 及 内 部 实现 娓 娓 道 来 。 


第 1 章 ”介绍 分 布 式 系统 的 一 些 基 本 概念 ， 以 及 开发 实时 处 理 系统 所 需要 具备 的 一 些 重要 知识 点 。 
第 2 章 ”介绍 分 布 式 系统 通信 和 基础， 包括 TCP/IP 以 及 Socket 方 面 的 基本 概念 ， 为 后 续 开发 网 络 库 Meshy 做 知识 储备 。 


第 3 章 “介绍 分 布 式 系统 通信 所 需 的 高 层 抽 象 ， 包 括 RPC 远 程 过 程 调用 、RESTful、 消 息 队列 等 常用 的 通信 模型 。 同 时 介绍 
基本 的 序列 化 概念 与 解决 方案 ， 并 使 用 Thrift 开 发 简单 的 公告 牌 服务 ， 为 Hurricane 的 开发 建立 通信 抽象 与 框架 上 的 基础 概念 。 


第 4 章 ”介绍 C++ 高 性 能 编程 所 需 的 基础 与 进 阶 知识 ， 包 括 C+ + 中 的 内 存 资源 管理 、 编 码 解决 方案 、 并 发 与 异步 处 理 以 及 内 


存 管理 技巧 ， 以 及 C++11 中 与 内 存 管理 、 编 码 处 理 、 线 程 模型 相关 的 内 容 。 
第 5 章 ”介绍 分 布 式 处 理 系 统 的 基本 概念 ， 包 括 批 处 理 与 实时 处 理 的 区 别 ，Hadoop 与 Storm 的 基本 介绍 及 基本 模型 。 最 后 


介绍 可 靠 消息 处 理 的 基本 思想 。 


第 6 章 “介绍 实时 处 理 系统 的 总 体 架 构 与 接口 设计 ， 包 括 消息 源 、 消 息 处 理 器 、 数 据 收集 器 、 元 组 以 及 序列 化 接口 。 

第 7 章 介绍 服务 组 件 的 设计 与 实现 ， 包 括 Executor 及 其 消息 队列 、 动 态 装载 以 及 Task 的 设计 与 实现 等 。 

第 8 章 “介绍 管理 服务 的 设计 与 实现 ， 其 中 包括 集群 管理 器 President 以 及 节点 管理 器 Manager 的 架构 设计 与 编程 实现 。 

第 9 章 ”介绍 实时 处 理 系 统 中 各 部 分 接口 的 实现 ， 包 括 消息 源 、 消 息 处 理 单元 以 及 数据 收集 器 的 实现 。 

第 10 章 ”介绍 可 靠 消 息 处 理 的 概念 、 接 口 设计 与 具体 实现 ， 包 括 简单 和 高 效 的 实现 方案 。 

第 11 章 ”介绍 底层 数据 传输 层 及 Meshy 的 设计 与 实现 ， 包 括 |/O 多 路 复 用 的 概念 与 实现 方法 、 所 需 的 基础 工具 ， 以 及 跨 平台 
的 实现 方案 。 最 后 辅 以 实战 用 例 来 展示 集成 与 使 用 Meshy 的 方法 。 

第 12 章 “介绍 事务 性 计算 拓扑 的 概念 、 实 现 方案 与 编程 实现 ， 并 介绍 相关 AP1， 以 及 如 何 使 用 Cassandra 存 储 元 数据 。 

第 13 章 “介绍 在 不 同 的 编程 语言 中 实现 计算 拓扑 的 方法 ， 并 在 现 有 技术 基础 上 增加 一 些 新 的 技术 。 

第 14 章 “介绍 基于 Hurricane 实 时 处 理 系统 的 高 级 抽象 元 语 、 分 布 式 远程 过 程 调 用 (DRPC) 的 设计 、 实 现 方案 及 编程 实 
战 。 

第 15 章 “介绍 了 基于 Hurricane 实 时 处 理 系统 开发 的 日 志 流 处 理 实例 ， 其 中 包含 日 志 流 处 理 的 整体 流程 、 使 用 Hurricane 处 
理 日 志 的 具体 实现 思路 ， 以 及 使 用 Hurricane 处 理 日 志 的 具体 实现 。 

第 16 章 “介绍 了 基于 Hurricane 实 时 处 理 系统 开发 的 频繁 组 合 查找 实例 ， 其 中 包含 频繁 项 集 挖掘 概念 与 方法 、 频 繁 二 项 集 挖 


掘 算法 原理 与 实现 分 布 式 统计 方法 。 并 介绍 如 何 使 用 Hurricane 实 现 自 己 的 频繁 二 项 集 挖掘 系统 。 


第 17 章 


介绍 在 AWS 和 阿里 云 上 部 署 Hurricane 实 时 处 理 系统 ， 首 先 介绍 在 AWS 上 创建 私有 云 和 EC2 实 例 的 方法 ， 接 着 介 


绍 在 阿里 云 上 创建 私有 云 和 ECS 实 例 的 方法 ， 最 后 介绍 Hurricane 的 分 布 式 部 署 原理 与 方法 。 


阅读 前 提 


本 书 采用 Ubuntu 或 Debian 操 作 系统 以 及 Windows 操 作 系 统 作为 基本 的 开发 环境 。 此 外 ， 本 书 并 不 准备 对 基础 的 编程 概念 
进行 理论 介绍 。 我 们 假定 你 在 阅读 本 书 之 前 已 经 达到 基本 的 编程 技术 水 平 以 及 具备 一 定 的 C++ 编程 经 验 和 功底 。 如 果 不 是 ， 笔 
者 建议 阅读 《C++ 编程 思想 》 作 为 基础 来 了 解 编程 的 基本 概念 ， 并 阅读 《高 级 C/C+ + 编译 技术 》 作 为 提高 。 


本 书 版 式 约定 
在 本 书 中 ， 读 者 会 发 现 针对 不 同 信息 类 型 的 文本 样式 。 下 面 是 这 些 样 式 的 示例 和 解释 。 
所 有 命令 行 输入 和 输出 如 下 所 示 : 


mkdir Hurricane 
cd Hurricane 


代码 清单 通常 以 以 下 格式 展现 : 


include <iostream> 
include <cstdlib> 


int main () 
std::cout << "Welcome to Hurricane" << std::endl; 


return EXIT SUCCESS; 








ODANDOBWNHE 








在 正文 中 时 常会 用 以 下 方式 拓展 所 讲解 的 内 容 : 
提示 ”这 里 是 相关 提示 的 文字 。 
读者 对 象 


(1) 大 数据 系统 研 友 工程 师 。 本 书 不 但 讲解 高 性 能 分 布 式 实时 处 理 系 统 编程 所 需要 的 方方面面 ， 抽 丝 剥 草地 呈现 出 实时 处 
理 系统 的 架构 以 及 内 部 实现 ， 还 带领 大 家 自己 编写 一 套 分 布 式 实时 处 理 系统 。 


(2) 研发 人 员 。 本 书 是 一 本 深入 剖析 分 布 式 实时 处 理 系统 编号 的 指南 。 


(3) 架构 师 。 本 书 是 一 本 层次 化 分 布 式 系统 架构 设计 的 实战 书 。 读 者 可 以 深入 理解 分 布 式 实时 处 理 系统 的 内 部 构造 以 及 重 
要 组 成 部 分 ， 并 自己 设计 分 布 式 系统 的 各 个 层次 。 


(4) 编程 初学 者 。 学 习 实 战 技术 ， 掌 握 分 布 式 系统 开发 中 惯用 的 编程 技巧 。 
勘误 和 支持 


虽然 笔者 在 编写 本 书 的 过 程 中 经 过 反复 审 校 ， 全 力 确保 本 书 内 容 的 准确 性 ， 但 琉 漏 在 所 难免 。 书 中 难免 可 能 会 出 现 一 些 不 有 溉 
或 不 准确 的 描述 ， 妨 请 读者 批评 指正 。 本 书 所 涉及 的 所 有 源 代码 及 工程 都 可 以 从 华章 官网 (www.hzbook.com) 下 载 ， 同 时 这 
些 项 目 也 都 是 开源 项 目 。 现 在 我 怀 着 期 队 和 志 沪 的 心情 ， 将 这 本 著作 呈献 给 大 家 ， 我 渴望 得 到 你 的 认可 ， 更 渴望 和 你 成 为 朋友 ， 
如 果 你 有 任何 问题 和 建议 ， 请 与 我 联系 (电子 邮箱 : samblg@me.com) ， 期 待 能 够 得 到 你 的 真挚 反馈 。 


致谢 


在 创作 本 书 的 过 程 中 ， 我 得 到 了 很 多 人 的 帮助 ， 这 里 必须 要 一 一 感谢 ， 聊 表 寸 心 。 感 谢 鲁 昌 华 教授 ， 在 我 的 成 长 道路 上 给 予 
了 很 大 的 支持 和 鼓励 。 感 谢 我 在 Autodesk 中 国 研 究 院 (ACRD) 的 同事 和 思科 系统 (FE) 研发 中 心 的 朋友 。 特 别 是 我 的 良 师 
益友 彭 敏 、 上 天 亮 和 徐 立 冰 ， 在 我 的 学 习 工 作 中 给 予 了 很 大 帮助 。 感 谢 我 的 好 友人 金 柳 质 ， 感 谢 你 在 写作 本 书 过 程 中 的 通力 合作 以 
及 技术 问题 上 的 共同 探讨 。 还 要 感谢 机 械 工业 出 版 社 的 高 婧 雅 编辑 对 我 的 信任 与 支持 。 


谨 以 此 书 献 给 我 最 杀 爱 的 家 人 与 朋友 ， 你 们 是 我 奋斗 路 上 坚强 的 后 盾 。 


le 分布 式 计算 概述 


本 章 主 要 介绍 分 布 式 系统 的 一 些 基本 概念 ， 以 及 开发 实时 处 理 系统 所 需要 具备 的 一 些 重要 知识 点 ， 包 括 分 布 式 概念 、 分 布 式 
系统 特性 、 具 体 的 分 布 式 人 存储 系 统 类 型 与 产品 实例 ， 并 对 通用 分 布 式 计算 系统 进行 简要 介绍 ， 通 过 对 比 传统 批 处 理 式 解决 方案 
(Apache Hadoop 和 Apache Spark) 和 Apache storm 的 流 计算 模型 ， 最 终 引 出 实时 处 理 系统 的 概念 ， 这 也 是 本 书 所 要 阐述 和 
实现 的 重点 。 


由 计算 机 组 成 的 网 络 无 处 不 在 ， 现 如 今 我 们 的 日 常生 活 已 经 被 各 种 不 同类 型 的 网 络 包围 ， 如 电话 网 络 、 企 业 网 络 、 家 庭 网 络 
以 及 各 种 类 型 的 局 域 网 ， 共 同 构成 了 我 们 称 之 为 Internet 的 网 络 。 因 此 ， 我 们 可 以 断言 Internet 是 由 各 种 不 同类 型 、 不 同 地 区 、 
不 同 领域 的 网 络 构成 的 互联 网 。 我 们 可 以 发 现 ， 互 联网 并 没有 集中 式 的 控制 中 心 ， 而 是 由 大 量 分 离 且 互联 的 节点 组 成 的 。 这 正 是 
一 个 分 散 式 的 模型 。 我 们 可 以 把 这 个 概念 类 比 到 即将 讲解 的 分 布 式 概念 上 。 


分 布 式 概念 是 在 网 络 这 个 大 前 提 下 诞生 的 。 传 统 的 计算 是 集中 式 的 计算 ， 使 用 计算 能 力 强 大 的 服务 器 处 理 大 量 的 计算 任务 ， 
但 这 种 超级 计算 机 的 建造 和 维护 成 本 极 高 ， 且 明显 存在 很 大 的 瓶颈 。 与 之 相对 ， 如 果 一 套 系统 可 以 将 需要 海量 计算 能 力 才能 处 理 
的 问题 拆 分 成 许多 小 块 ， 然 后 将 这 些小 块 分 配给 同一 套 系统 中 不 同 的 计算 节点 进行 处 理 ， 最 后 如 有 必要 将 分 开 计 算 的 结果 合并 得 
到 最 终结 果 ， 那 么 就 将 这 种 系统 称 为 分 布 式 系统 。 对 于 这 种 系统 来 说， 我 们 会 采用 多 种 方式 在 不 同 节点 之 间 进 行 数据 通信 和 协 
调 ， 而 网 络 消息 则 是 常用 手段 之 一 。 


通过 以 上 描述 ,我 们 基本 可 以 认为 ， 一 套 分 布 式 系统 会 使 用 网 络 上 的 硬件 资源 和 软件 组 件 进 行 计算 ， 而 各 个 计算 节点 间 通 过 
一 定 方式 进行 通信 。 这 是 从 计算 机 科学 的 角度 简单 概述 了 分 布 式 系统 的 概念 。 


如 果 我 们 从 网 络 这 个 关键 因素 考虑 ， 我 们 可 以 将 计算 分 摊 到 网 络 中 不 同 的 计算 节点 ， 充 分 利用 网 络 中 的 计算 资源 ， 而 这 些 节 
点 可 能 人 存在 于 不 同 的 区 域 中 ， 在 空间 上 存在 一 定 距离 。 昌 说 这 种 解释 不 那么 正式 ， 但 也 从 另 一 个 角度 上 生动 地 前 述 了 分 布 式 的 基 
本 特性 ， 即 节点 分 布 。 


1.2 分 布 式 计算 及 其 原理 


前 文 提 到 分 布 式 计算 就 是 将 计算 任务 分 挫 到 大 量 的 计算 节点 上 ， 一 起 完成 海量 的 计算 任务 。 


而 分 布 式 计算 的 原理 和 并 行 计 算 类 似 ， 就 是 将 一 个 复杂 庞大 的 计算 任务 适当 划分 为 一 个 一 个 小 任务 ， 并 让 任务 并 行 执 行 ， 只 
不 过 分 布 式 计算 会 将 这 些 任务 分 配 到 不 同 的 计算 节点 上 ， 每 个 计算 节点 只 需要 完成 自己 的 计算 任务 即 可 ， 可 以 有 效 分 担 海量 的 计 
算 任 务 。 而 每 个 计算 节点 也 可 以 并 行 处 理 自身 的 任务 ， 更 加 充分 利用 机 器 的 CPU 资 源 。 最 后 我 们 想方设法 将 每 个 节点 计算 结果 
汇总 ， 得 到 最 后 的 计算 结果 。 


很 多 时 候 ， 划 分 计算 任务 以 支持 分 布 式 计算 看 起 来 较为 困难 ， 但 人 们 逐渐 发 现 确实 也 是 可 行 的 。 而 且 随 着 计算 任务 量 增加 与 
计算 节点 增加 ， 这 种 划分 体现 出 来 的 价值 会 越 来 越 大 。 分 布 式 计算 一 般 分 为 以 下 几 步 。 


1) 设计 分 布 式 计算 模型 : 首先 我 们 要 规定 分 布 式 系统 的 计算 模型 。 计 算 模型 决定 了 系统 中 各 个 组 件 应 该 如 何 运 行 ， 组 件 之 
间 应 该 如 何 进行 消息 通信 ， 组 件 和 节点 应 该 如 何 管理 等 。 


2) 分 布 式 任务 分 配 : 分 布 式 算法 不 同 于 普通 算法 。 普 通 算法 通常 是 按部就班 ， 一 步 接着 一 步 完 成 任务 。 而 分 布 式 计算 中 计 
算 任务 是 分 挫 到 各 个 节点 上 的 。 该 算法 着 重 解决 的 是 能 否 分 配 任务 ， 或 如 何 分 配 任务 的 问题 。 


3) 编写 并 执行 分 布 式 程序 : 使 用 特定 的 分 布 式 计 算 框架 与 计算 模型 ， 将 分 布 式 算 法 转化 为 实现 ， 并 尽量 保证 整个 集群 的 高 
效 运行 。 其 中 有 一 些 难 点 。 


@@ 计 算 任务 的 划分 。 


分 布 式 计算 的 特点 就 是 多 个 节点 同时 运算 ， 因 此 如 何 将 复杂 算法 优化 分 解 成 适用 于 每 个 节点 计算 的 小 任务 ， 并 回收 节点 的 计 
算 结果 就 成 了 问题 。 尤 其 是 并 行 计算 的 最 大 特点 是 希望 节点 之 间 的 计算 互 不 相干 ， 这 样 可 以 保证 各 节点 以 最 快速 度 完成 计算 , 一 
有 旦 出 现 节 点 之 间 的 等 待 ， 往 往 就 会 拖 慢 整个 系统 的 速度 。 


@ 多 节点 之 间 的 通信 方式 。 


另 一 个 难点 是 节点 之 间 如 何 高 效 通信 。 虽 然 在 划分 计算 任务 时 ， 计 算 任务 最 好 确保 互 不 相干 ， 这 样 每 个 节点 可 以 各 自 为 政 。 
但 大 多 数 时 候 节 点 之 间 还 是 需要 互相 通信 ， 比 如 获取 对 方 的 计算 结果 等 。 一 般 有 两 种 解决 方案 : 一 种 是 利用 消息 队列 ， 将 节点 之 
间 的 依赖 变 成 节点 之 间 的 消息 传递 ; 第 二 种 是 利用 分 布 式 存储 系统 ， 我 们 可 以 将 节点 的 执行 结果 暂时 存放 在 数据 库 中 ， 其 他 节点 
等 待 或 从 数据 库 中 获取 数据 。 无 论 哪 种 方式 只 要 符合 实际 需求 都 是 可 行 的 。 


1.3 分布 式 系统 特性 


G.Coulourisl1] 曾 经 对 分 布 式 系统 下 了 一 个 简单 的 定义 : 你 会 知道 系统 当中 的 某 台 电脑 崩溃 或 停止 运行 了 ， 但 是 你 的 软件 却 
永远 不 会 。 这 人 句 话 虽 然 简单 ， 但 是 却 道 出 了 分 布 式 系 统 的 关键 特性 。 分 布 式 系统 的 特性 包括 容错 性 、 高 可 扩展 性 、 开 放 性 、 并 发 
处 理 能 力 和 透明 性 ， 现 在 我 们 来 看 一 下 这 些 概 念 的 涵义 。 


[1] George Coulouris 是 《Distributed Systems-Concepts and Design》 这 本 书 的 作者 ， 曾 是 剑桥 大 学 的 高 级 研究 员 。 


14 通用 分 布 式 计算 系统 


单 从 分 布 式 计算 系统 这 个 类 别 来 说 ， 其 覆盖 面 非常 广 。 我 们 将 在 本 节 中 着 重 介绍 几 个 十 分 常见 的 计算 系统 。 这 些 计算 系统 被 
广泛 应 用 于 各 个 领域 。 


1.5 ”分布 式 存储 系统 


分 布 式 技术 大 体 分 为 分 布 式 存储 技术 和 分 布 式 计算 技术 ， 我 们 先 来 探讨 一 下 分 布 式 存 储 技术 。 在 互联 网 高 速 友 展 的 今天 ， 分 
布 式 技术 逐渐 成 为 了 大 型 企业 业务 构建 所 需 的 基本 技术 之 一 ， 而 分 布 式 存储 系统 更 是 成 为 了 分 布 式 计算 必 备 的 主要 系统 ， 无 论 是 
云 计算 还 是 大 数据 的 处 理 和 分 析 ， 都 离 不 开 分 布 式 存储 系统 ， 因 此 ， 如 何 基于 高 性 能 、 高 可 扩展 性 、 高 可 用 性 以 及 成 本 低 的 分 布 
式 存 储 系统 来 构建 实时 计算 系统 ， 成 为 了 热门 话题 。 本 节 将 介绍 分 布 式 存储 的 基本 概念 和 特点 ， 并 简单 介绍 几 个 流行 的 分 布 式 存 


储 新 系统 。 


16 ”本章 小 结 


本 章 对 分 布 式 系统 的 几 个 主要 方面 进行 了 基本 的 介绍 ， 包 括 什么 是 分 布 式 系统 、 分 布 式 系统 的 特性 、 分 布 式 系统 细 分 类 别 之 
下 的 分 布 式 存储 系统 的 概述 ， 以 及 针对 通用 分 布 式 计算 系统 的 简要 介绍 。 本 章 用 简短 的 篇 幅 ， 结 合 笔者 自身 的 体会 ， 以 分 布 式 系 
统 为 引子 ， 逐 步 介绍 分 布 式 计算 系统 以 及 分 布 式 存储 系统 。 这 些 知识 是 后 续 章 节 介 绍 分 布 式 实时 处 理 系 统 编程 实战 所 必 不 可 少 的 
内 容 。 通 过 本 章 的 学 习 ， 读 者 应 该 已 经 具备 开发 分 布 式 实时 处 理 系统 的 基础 知识 以 及 掌握 开发 过 程 中 需要 关注 的 重点 ， 这 将 为 后 
续 内 容 的 学 习 打 下 坚实 的 基础 。 


第 2 章 ”分布 式 系统 通信 基础 


上 一 章 介绍 了 什么 是 分 布 式 系统 ， 以 及 分 布 式 系统 的 分 类 和 组 成 。 这 其 中 需要 强调 的 是 ， 分 布 式 系统 中 包含 了 各 种 各 样 的 节 
点 ， 这 些 节点 各 司 其 职 ， 共 同 完 成 整套 系统 的 业务 逻辑 需求 。 那 么 自然 而 然 的 ， 这 些 节点 之 间 需 要 进行 通信 。 现 如 今 Internet 使 
用 的 主流 协议 族 是 TCP/IP 协 议 族 ， 它 是 一 个 多 层次 、 多 协议 的 通信 框架 。 本 章 将 对 TCP/IP 协 议 族 进行 概述 ， 并 着 重 讲解 IP 协 
议 、TCP 协 议 以 及 HTTP 协 议 (包含 Restful API 的 概念 ) ， 因 为 这 些 是 后 续 开发 分 布 式 实时 处 理 系 统 所 必须 掌握 的 知识 点 一 一 我 
们 会 在 开发 的 程序 中 使 用 Socket 进 行 通信 ， 并 提供 灵活 的 Restful API 供 用 户 使 用 。 网 络 通 信 协 议 包 罗 万 象 ， 其 中 每 一 项 都 需要 
我 们 花费 大 量 时 间 和 精力 去 学 习 和 研究 。 本 章 把 最 常用 、 最 直接 的 一 些 概念 呈现 给 读者 ， 并 辅 以 一 些 快速 实践 ， 帮 助 大 家 快速 灵 
活 地 掌握 网 络 通信 知识 。 另 外 ， 本 书 会 在 恰当 的 地 方 列 出 RFC 文 档 ， 读 者 可 以 通过 RFC 文 档 编 号 查阅 更 加 详细 的 网 络 协议 细节 。 


2.1 ”时 代 的 浪潮 


让 我 们 回 到 20 世 纪 60 年 代 ， 那 还 是 一 个 没有 网 络 的 世界 。 


在 那个 年 代 ， 没 有 网 络 也 就 意味 着 无 法 像 现 在 这 样 方便 地 在 机 器 之 间 共 享 数据 。 但 当时 美国 的 高 级 研究 计划 管理 局 
(Advanced Research Projects Agency, ARPA) 已 经 开始 筹划 建立 一 个 颇具 规模 的 网 络 ， 并 将 这 个 网 络 称 为 ARPANet。 


其 目的 是 在 美国 建立 起 一 个 健壮 的 网 络 体系 ， 而 ARPANet 则 是 作为 未 来 网 络 的 一 个 实验 性 项 目 。 刚 开始 的 时 候 ， 也 就 是 
1969 年 ， 这 个 计划 的 网 络 中 只 有 4 个 节点 ， 分 别 是 分 布 在 洛杉矶 的 加 利 福 尼 亚 大 学 洛杉矶 分 校 、 加 州 大 学 圣 巴巴 拉 分 校 、 斯 坦 福 
大 学 、 犹 他 州 大 学 4 所 大 学 的 4 台大 型 计算 机 。 而 这 个 网 络 的 主要 研究 人 员 也 都 来 自 这 几 所 学 校 。 

这 个 网 络 的 要 求 是 ， 希 望 在 计算 机 之 间 共 享 硬件 、 软 件 和 数据 库 资 源 。 同 时 网 络 要 有 极 强 的 健壮 性 ， 一 条 线路 或 一 个 节点 损 
坏 不 能 影响 整个 网 络 工作 。 


问题 来 了 ， 我 们 应 该 如 何 构建 这 个 通信 网 络 呢 ? 


2.2 ”可靠 的 数据 链 路 


我 们 先 把 眼光 放 短 点 ， 考 虑 一 下 如 何 实现 两 个 相 令 机 器 节点 之 间 的 可 靠 数 据 传输 。 因 为 原始 的 物理 链 路 仅 由 传输 介质 和 设备 
组 成 ， 数 据 在 两 个 设备 之 间 传 输 时 随时 可 能 因为 外 界 原 因而 丢失 或 发 生变 化 ， 直 接 使 用 物理 链 路 无 法 确保 数据 在 相 邻 节点 之 间 的 
可 靠 传输 。 


为 此 ， 我 们 引入 一 个 抽象 的 概念 ， 叫 做 “数据 链 路 ”。 数 据 链 路 是 一 条 逻辑 链 路 ， 我 们 假定 两 个 机 器 节点 只 要 使 用 了 逻辑 链 
路 ， 就 可 以 可 靠 地 相互 通信 (当然 ， 如 果 你 把 物理 链 路 拆 掉 了 ， 那 我 也 就 没 办 法 了 ) 。 此 外 ， 我 们 希望 可 以 保证 一 条 物理 链 路 上 
可 以 存在 多 条 逻辑 链 路 ， 也 就 是 做 到 物理 线路 的 复 用 。 


为 此 ,我们 需要 定义 一 个 规范 ， 所 有 的 设备 在 发 送 和 接收 数据 时 都 需要 遵循 这 种 规范 ， 我 们 将 这 种 规范 称 为 “协议 ”。 就 像 
我 们 平时 写 信 的 时 人 息 ， 需 要 遵循 一 定 的 格式 要 求 ， 只 有 保证 格式 正确 ， 邮 递 员 才能 将 信件 送 到 正确 的 目的 地 。 而 协议 正 是 如 此 ， 
只 有 通信 双方 都 遵守 协议 ， 才 能 进行 正常 的 通信 。 因 此 我 们 的 思路 就 是 在 物理 链 路 的 基础 上 ， 使 用 一 系列 的 协议 控制 数据 传输 ， 
确保 相 邻 节点 之 间 数 据 的 可 靠 传 输 。 


2.3 DRR 


有 了 大 致 的 思路 之 后 ， 让 我 们 来 想 一 想 如 何在 数据 链 路 的 基础 上 构建 一 个 完整 的 网 络 体系 。 


上 一 节 中 我 们 讲解 了 如 何 构建 可 靠 的 数据 链 路 。 虽 然 这 个 数据 链 路 是 我 们 附加 在 物理 链 路 之 上 的 抽象 概念 ， 但 这 种 数据 链 路 
我 们 一 般 都 会 使 用 纯 硬 件 实现 。 但 是 如 果 想 仿照 数据 链 路 使 用 硬件 实现 接 下 来 的 功能 ， 就 不 是 那么 简单 了 。 


例如 ， 接 下 来 要 实现 数据 的 转发 功能 。 但 是 问题 是 ， 我 们 如 何 知道 要 将 数据 转发 到 何 处 呢 直接 将 整个 网 络 的 拓扑 结构 存储 
在 每 个 机 器 节点 里 吗 ? 如 果 是 这 样 ， 当 机 器 节点 增加 时 需要 将 网 络 中 的 所 有 机 器 节点 数据 全 部 更 新 一 遍 ， 这 无 疑 是 费时 费力 的 
(比如 像 图 2-3 那 样 ) 。 那 么 我 们 就 需要 实现 一 种 复杂 的 自学 习 式 的 寻 路 算法 ， 如 果 直 接 使 用 电路 实现 成 本 极 高 。 同 时 我 们 还 要 
确保 数据 可 以 可 靠 地 被 转发 到 目的 机 器 节点 ， 如 果 数 据 在 路 途中 丢失 或 损坏 我 们 也 要 采取 一 定 的 措施 。 此 外 ， 如 果 软 件 直接 使 用 
硬件 接口 ， 手 动 将 数据 划分 为 一 个 个 分 组 进行 传送 ， 无 疑 会 加 大 应 用 软件 的 开发 成 本 。 


换言之 ， 想 要 构建 一 条 纯 硬 件 的 、 任 意 机 器 节点 之 间 可 靠 传输 的 数据 链 路 成 本 太 高 。 应 该 如 何 解决 这 些 问 题 呢 ? 
在 计算 机 的 世界 中 ， 我 们 将 这 种 问题 称 为 “高 复杂 性 ”问题 ， 而 解决 高 复杂 性 问题 一 种 惯性 思维 就 是 加 入 中 间 层 。 
例如 ， 我 们 可 以 将 物理 链 路 看 成 一 个 层 ， 而 数据 链 路 看 成 另 一 个 层 ， 如 图 2-4 所 示 。 


图 2-4 中 上 面 一 层 称 为 数据 链 路 层 ， 下 面 一 层 称 为 物理 层 。 通 过 之 前 的 讲解 ， 可 以 看 到 我 们 完全 是 在 物理 层 的 基础 上 实现 了 
一 个 数据 链 路 层 ， 保 证 相 邻 机 器 节点 之 间 的 可 靠 数 据 通道 。 那 如 果 我 们 在 数据 链 路 层 的 基础 上 再 加 一 个 层 ， 这 个 层 假设 相 邻 机 器 
节点 之 间 有 可 靠 且 可 分 数 复 用 的 数据 通道 ， 而 该 层 只 考虑 在 这 种 可 靠 的 数据 通道 中 实现 节点 的 分 组 转发 功能 ， 并 使 用 软件 技术 实 
现 这 种 算法 ， 是 不 是 可 以 降低 整个 系统 的 复杂 度 呢 ? 


实际 上 就 是 如 此 。 


所 以 我 们 就 在 这 上 面 再 加 一 层 ， 称 之 为 网 络 层 (就 是 在 网 络 中 寻找 目标 机 器 节点 ) ， 该 层 主要 使 用 软件 实现 ， 如 图 2-5 所 


个 \。 


数据 链 路 层 





图 2-4 2 层 模型 


数据 链 路 层 





图 2-5 3 层 网 络 模型 





但 现在 又 出 现 新 的 问题 一 一 同一 个 机 器 节点 上 可 能 会 运行 不 同 的 软件 程序 ， 如 果 A 机 器 节点 的 程序 1 向 B 机 器 节点 的 程序 2 发 
送 数据 ，A 机 器 节点 的 程序 3 也 会 向 B 机 器 节点 的 程序 4 发 送 数 据 ， 那 么 B 机 器 节点 接收 到 | 数据 时 该 如 何 区 分 呢 ?” 此 外 ， 网 络 层 依 
然 是 分 组 传送 ， 如 果 直 接 让 软件 自己 手动 对 数据 进行 分 组 开发 成 本 过 高 ， 如 果 可 以 将 数据 传输 看 成 无 限 字 节 流 的 传输 就 太 好 了 。 
但 直接 在 “寻找 路 径 ”这 一 层 实现 这 些 功能 又 势必 会 增加 软件 的 复杂 度 。 


所 以 我 们 故 技 重 施 ， 再 加 一 层 ， 用 这 一 层 实 现 端 到 端 (也 就 是 应 用 程序 之 间 的 ) 的 字 节 流 数 据 传 输 通 道 ， 我 们 称 之 为 传输 
层 。 目 前 的 分 层 结构 如 图 2-6 所 示 。 


最 后 ， 虽 然 所 有 的 应 用 程序 都 可 以 将 数据 转换 为 字 节 流 ， 但 普通 的 字 节 流 是 毫 无 意义 的 ， 为 了 让 字 节 流 变 得 有 意义 ， 需 要 双 
方 遵守 同样 的 规则 来 理解 一 个 字 节 流 ， 也 就 是 双方 要 有 一 个 软件 层 的 解释 字 节 流 的 协议 。 很 明显 传输 层 并 不 负责 这 件 事 情 ， 而 且 
由 于 应 用 程序 类 型 众多 ， 传 输 层 如 果 还 要 考虑 解释 字 节 流 ， 负 担 就 太 重 了 。 因 此 我 们 还 需要 再 加 一 层 ， 不 同 的 应 用 程序 在 这 一 层 
上 建立 自己 的 协议 ， 由 于 这 一 层 完全 是 面向 应 用 程序 的 ， 因 此 我 们 称 之 为 应 用 层 。 


现在 的 层次 结构 如 图 2-7 所 示 。 





图 2-6 4 层 网 络 模型 


网 络 层 


数据 链 路 层 


图 2-7 5 层 网 络 模型 





到 现在 我 们 终于 可 以 松口 气 了 ， 你 会 发 现 ， 我 们 已 经 一 步 步 将 整个 分 布 式 网 络 的 架构 构建 出 来 了 。 


我 们 可 以 看 出 ， 在 解决 这 个 问题 的 过 程 中 ， 为 了 保证 网 络 的 简单 性 ， 我 们 根据 实际 问题 将 整个 网 络 划分 成 了 多 个 逻辑 层次 ， 
每 个 层次 专注 解决 一 个 或 几 个 相关 问题 。 这 样 一 来 每 个 层次 都 可 以 直接 使 用 下 一 层次 提供 的 “服务 ”， 降 低 了 每 个 层次 的 复杂 


性 ， 进 一 步 降低 整个 网 络 构建 的 成 本 。 


幸运 的 是 ， 经 过 实践 打磨 出 的 TCP/IP 协 议 正 采 用 了 这 种 分 层 的 思想 ，TCP/IP 的 分 层 结构 如 图 2-8 所 示 。 





数据 链 路 层 


图 2-8 ”TCP/IP 协 议 栈 


fez Request For Comments (RFC) 是 一 系列 以 编号 排 定 的 文件 。 文 件 收 集 了 有 关 互 联网 的 信息 ， 以 及 UNIX 和 互联 网 社区 
的 软件 文件 。 目 前 RFC 文 件 由 Internet Society (ISOC) 赞助 发 行 。 基 本 的 互联 网 通信 协议 在 RFC 文 件 内 都 有 详细 说 明 。 对 这 些 概 


念 感 兴趣 的 读者 可 以 访问 http://www.ietf.org/tfc.html 了 解 详细 信息 。 


其 中 物理 层 在 协议 之 外 。 而 数据 链 路 层 和 我 们 的 一 样 ， 保 证 相 邻 通信 节点 之 间 的 可 靠 数据 传递 。 网 络 层 负 责 网 络 之 间 任 意 两 
点 数据 包 的 传送 。 传 输 层 负责 端 到 端的 字 节 流 抽象 。 最 后 应 用 层 负责 构建 应 用 程序 协议 。 


接 下 来 具体 介绍 如 何 构建 数据 链 路 层 上 的 每 一 层 ， 并 引入 TCP/IP 的 一 些 规范 。 


2.4 网 络 层 


我 们 之 前 说 过 ， 网 络 层 的 主要 工作 就 是 路 由 和 转发 。 我 们 利用 与 每 个 机 器 节点 相 邻 的 一 些 机 器 节点 进行 数据 包 的 中 转 。 在 转 
发 时 ， 我 们 将 数据 包 包装 成 符合 数据 链 路 层 协议 的 数据 帧 ， 并 向 下 一 个 节点 传送 。 因 此 ， 我 们 通过 网 络 层 决定 数据 包 经 过 每 个 机 
器 节点 时 该 传递 到 哪 一 个 相 邻 的 机 器 节点 ， 直 至 到 达 目 的 机 器 节点 所 在 ， 这 样 可 以 建立 起 任意 两 个 机 器 节点 之 间 的 通信 路 径 。 


我 们 在 前 面 曾经 提 到 过 : 处 在 高 层次 的 协议 利用 较 低层 次 的 系统 提供 的 接口 和 服务 ， 不 需要 了 解 低层 的 实现 方法 和 细节 。 
此 ， 你 应 该 已 经 猜 到 了 ， 在 网 络 层 之 上 的 传输 层 和 应 用 层 并 不 关心 底层 的 数据 通道 是 如 何 建立 和 通信 的 。 对 于 这 些 层次 来 说 ， 所 
能 看 到 的 就 是 与 对 端的 一 个 网 络 直接 连接 过 来 ， 与 对 方 端点 直接 进行 数据 传输 和 通信 ， 当 然 ， 对 于 上 层 协议 和 应 用 来 说 ， 这 已 经 
足够 了 ， 高 层 协 议 无 须 天 心 也 没有 必要 天 心 低层 数据 的 通信 细节 。 虽 然 这 么 说 ， 但 是 对 于 学 习 和 了 解 一 整套 完整 的 端点 通信 方法 
来 说 ， 我 们 还 是 有 必要 对 这 些 细节 进行 了 解 的 。 


2.5 ”传输 层 


对 于 应 用 层 来 说 ， 与 其 直接 交互 的 就 是 传输 层 ， 传 输 层 对 底层 的 网 络 连 接 进行 了 进一步 抽象 。 传 输 层 只 关心 数据 发 送 的 起 始 
端 和 目的 端 ， 它 隐藏 了 低层 网 络 层 的 数据 包 路 由 等 复杂 性 ， 为 更 高 层次 提供 端 到 端的 数据 通信 。 我 们 还 需要 完成 数据 分 包 、 端 到 
端 传输 以 及 数据 可 靠 传输 等 方面 的 功能 。 


2.6 MHZ 


最 后 我 们 来 介绍 应 用 层 。 应 用 层 其 实 就 是 为 机 器 节点 的 应 用 程序 提供 一 些 高 级 协议 。 将 会 在 后 续 的 实践 代码 中 使 用 Socket 
实现 自己 的 一 个 应 用 程序 的 应 用 层 协 议 。 本 节 将 介绍 TCP/IP 的 应 用 层 。 


TCP/YIP 模 型 的 应 用 层 对 应 于 OSI 模 型 的 应 用 层 、 表 示 层 与 会 话 层 。 该 模型 包含 了 一 些 服务 ， 用 于 处 理 终端 用 户 的 认证 、 数 据 
处 理 与 压缩 问题 ， 还 要 记录 数据 流 来 源 的 应 用 程序 。 应 用 层 是 协议 最 多 、 类 型 最 为 混杂 的 一 个 层次 。 我 们 这 里 将 介绍 ping、 
telnet、OSPF、DNS、HTTP 这 几 个 常用 的 应 用 层 协议 。 


2.7 ”基于 消息 协议 的 公告 牌 


前 面 已 经 介绍 了 如 何 构建 一 个 分 布 式 的 、 健 壮 的 网 络 。 但 是 如 果 没 有 任何 应 用 程序 使 用 这 个 网 络 ， 这 个 网 络 也 就 毫 无 用 处 ， 
我 们 也 就 无 法 达成 我 们 的 初衷 一 一 使 用 网 络 分 享 信息 与 资源 。 


2.8 ”分 布 式 通信 举例 一 一 MapReduce 


前 文 讲 的 基本 都 是 传统 的 网 络 通信 。 但 正如 本 章 开 头 所 说 ， 传 统 的 网 络 通信 正 是 分 布 式 系统 通信 的 基础 。 读 者 现在 应 该 已 经 
大 致 了 解 了 基础 的 网 络 通 信 知识 (这 也 是 我 希望 的 ) ， 我 们 接 下 来 讲解 如 何 使 用 网 络 来 构建 一 个 分 布 式 计 算 系 统 的 实例 。 这 个 实 
例 就 是 非常 著名 的 MapReduce。 


第 一 章 已 经 简要 前 述 了 MapReduce 这 种 计算 模型 。 其 基本 思想 就 是 将 计算 量 非常 大 的 计算 拆 分 成 许多 部 分 ， 每 一 个 计算 节 
点 只 负责 计算 一 个 部 分 ， 最 后 再 将 所 有 计算 节点 的 计算 结果 以 一 定 方式 汇总 到 一 起 ， 得 出 最 后 结果 。 而 Map 就 是 将 庞大 的 计算 
任务 划分 成 小 的 计算 任务 ， 并 分 配给 计算 节点 ，Reduce 则 是 以 一 定 方法 将 计算 结果 合并 起 来 ， 合 成 为 MapReduce。 整 个 流程 
如 图 2-23 所 示 。 





























Map 
Reduce 
Map 
输入 
Map 
Map 


Map 











图 2-23 ”MapReduce 流 程 图 


可 以 发 现 ，Map 节 点 需要 将 自身 的 计算 结果 传递 给 Reduce 节 点 ， 但 是 我 们 应 该 如 何 做 呢 ” 直接 由 Map 节 点 将 数据 发 送 给 
Reduce 节 点 吗 ? MapReduce 模 型 并 不 是 这 样 做 的 。 第 一 章 中 也 介绍 过 ，MapReduce 节 点 之 间 的 通信 其 实 基 于 另 一 个 系统 一 一 
HDFS。Map 节 点 和 Reduce 节 点 之 间 的 通信 并 不 是 直接 通过 收发 消息 实现 的 ， 而 是 去 操作 一 个 双方 共享 的 分 布 式 文件 系统 。 

Map 节 点 从 HDFS 中 读 取 数 据 ， 并 将 计算 结果 写 入 到 HDFS 中 ， 再 由 Reduce 节 点 从 HDFS 中 读 取 Map 的 中 间 结 果 ， 并 将 最 终 合并 
结果 写 入 到 HDFS 中 。 整 个 过 程 如 图 2-24 所 示 。 


读 取 输入 写 入 中 间 计 算 结 果 读 取 中 间 计 算 结果 写 入 合并 后 结果 


HDFS 


图 2-24 ”数据 读 写 流程 
那么 HDFS 是 如 何 提 供 这 种 分 布 式 的 数据 服务 的 呢 ? 


整个 HDFs 的 架构 如 图 2-25 所 示 。 其 中 所 有 的 文件 系统 读 写 请 求 都 会 通过 网 络 将 请 求 发 送 给 NameNode。NameNode 上 存 
储 了 整个 文件 系统 的 元 数据 ， 可 以 得 知 哪个 文件 存放 在 哪个 节点 上 。 接 下 来 NameNode 找 到 请 求 对 应 的 节点 (DataNode) , 
并 由 DataNode 的 服务 程序 接管 请 求 ， 与 客户 端 进 行 真正 的 数据 通信 。 最 后 读 写 请 求 完 成 后 NameNode 会 更 新 元 数据 ， 并 对 存 
储 的 数据 重新 进行 负载 均衡 ， 也 就 是 建立 数据 的 多 份 副 本 ， 分 发 给 不 同 的 节点 ， 做 到 元 余 存 储 。 
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图 2-25 HDFS 架 构 














这 样 我 们 就 可 以 将 数据 存储 到 一 个 分 布 式 集 群 中 ， 并 进行 读 写 。 而 Map 节 点 和 Reduce 节 点 正 是 通过 读 写 HDFS 中 的 文件 实 
现 通 信 。Map 节 点 将 计算 结果 以 一 定 的 命名 方式 写 入 到 HDFS 中 ， 然 后 Hadoop 会 激活 Reduce 节 点 ， 让 Reduce 节 点 去 对 应 的 位 
置 寻 找 计算 结果 ， 最 后 再 将 合并 结果 以 一 定 命 名 方式 写 入 HDFS。 


随后 将 会 了 解 到 其 他 许多 分 布 式 系统 并 不 是 使 用 这 种 通信 方式 ， 但 这 的 确 是 分 布 式 通 信 的 实现 方式 之 一 。 


2.9 本章 小 结 


本 章 我 们 跟随 TCP/IP 的 路 线 ， 从 无 到 有 建立 了 一 套 完整 的 网 络 体系 。 干 万 不 要 小 瞧 这 个 网 络 ， 依 照 这 种 方法 建立 的 
ARPANet 后 来 走出 了 大 学 的 实验 室 ， 成 为 了 Internet 的 骨干 网 络 ， 直 到 1990 年 被 美国 国家 科学 基金 会 (NSF) 取代 为 止 都 具有 
举足轻重 的 地 位 。 更 重要 的 是 ， 在 ARPANet 项 目 中 研发 的 TCP/IP 协 议 族 可 谓 影 响 深远 。 虽 然 1SO 制 定 出 了 7 层 的 OSI 标 准 , 但 一 
直 只 是 一 个 看 起 来 很 漂亮 的 理论 模式 ， 其 实 并 没有 在 实际 中 得 到 运用 ， 而 TCP/IP 这 种 依靠 经 验 和 技术 开发 出 来 的 网 络 体系 则 成 
为 了 网 络 世界 中 的 事实 标准 。 


第 3 章 ”通信 系统 高 层 抽象 


分 布 式 系统 通信 技术 的 基础 应 该 就 是 网 络 通 信 ， 上 一 章 我 们 讲解 了 网 络 的 基本 概念 和 Socket， 直 接 使 用 底层 的 Socket 完 成 
了 一 个 简单 的 公告 牌 程序 ， 并 且 自 行 设计 了 相应 的 应 用 层 协 议 。 


但 是 读者 会 发 现 ， 如 果 直 接 使 用 Socket 来 实现 网 络 服务 效率 很 低 : 需要 自行 设计 协议 ， 需 要 自己 对 数据 传输 进行 编码 和 解 
码 ， 需 要 自己 开发 服务 器 等 。 因 此 除非 有 特殊 原因 ， 如 性 能 问题 、 安 全 性 问题 或 遗留 系统 ， 在 开发 实际 的 应 用 程序 时 我 们 并 不 会 
直接 使 用 Socket。 


而 在 计算 机 世界 中 ， 解 决 一 切 复杂 性 问题 的 方法 无 非 就 是 两 种 : 分 层 和 封装 。 为 了 控制 网 络 通信 程序 的 复杂 度 ， 人 们 提出 了 
大 量 网 络 通信 的 高 层 抽象 ， 本 章 将 会 介绍 一 些 比较 流行 且 被 广泛 使 用 的 高 层 抽 象 。 这 些 高 层 抽象 可 以 极 大 简化 我 们 开发 应 用 程序 
的 过 程 ， 提 高 应 用 程序 开发 效率 。 


3.1 ”RPC 介绍 


在 开发 纯粹 的 本 地 应 用 程序 时 ， 我 们 会 将 庞大 的 系统 划分 为 子 系统 ， 然 后 再 将 子 系统 划分 为 更 小 的 模块 ， 接 着 再 对 模块 不 断 
细 分 ， 而 系统 中 最 细 粒 度 的 抽象 单位 就 是 “函数 ” (Function) ， 或 者 是 “过 程 ” (Procedure) 。 消 数 和 过 程 同 时 也 是 模块 
之 间 的 “通信 接口 ”， 如 果 A 模 块 想 要 调用 B 模 块 的 服务 ， 一 般 直 接 调用 B 模 块 对 外 公开 的 函数 或 过 程 接口 。 对 于 一 个 程序 员 来 
讲 ， 这 种 过 程 调用 是 非常 直观 ， 易 于 理解 与 维护 的 。 


但 是 在 分 布 式 系统 中 ， 不 同 的 子 系统 可 能 分 布 在 不 同 的 服务 器 上 ， 也 就 是 说 如 果子 系统 A 想 要 调用 子 系统 B 的 服务 ， 无 法 通 
过 过 程 调用 来 实现 ， 而 是 需要 利用 网 络 通 信 ， 由 子 系统 A 服 务 器 向 子 系统 B 服 务 器 发 送 特定 的 网 络 请 求 ， 由 子 系统 B 接 受 请 求 并 指 
向 相应 服务 ， 最 后 再 次 通过 网 络 将 执行 结果 返回 给 A 服 务 器 一 这 个 过 程 在 上 一 章 中 的 公告 牌 系统 中 已 经 有 所 体现 ， 这 里 不 再 考 
述 了 。 


当 模 块 之 间 的 调用 变 成 大 量 的 网 络 请 求 之 后 ， 整 个 代码 的 可 读 性 和 可 维护 性 势必 会 受到 不 利 影响 。 
为 了 模拟 对 程序 员 来 说 最 简单 直观 的 过 程 调 用 ，RPC (Remote Procedure Call) ， 即 远程 过 程 调用 应 运 而 生 。 


所 谓 远 程 过 程 调用 就 是 开发 者 在 不 需要 了 解 底层 网 络 技术 的 情况 下 (无 论 是 基础 协议 还 是 Socket) ， 可 以 像 调 用 本 地 方法 
一 样 调用 远程 服务 器 提供 的 函数 或 过 程 。 假 设 我 们 在 服务 器 B 上 编写 一 个 名 为 Hello 的 类 ， 代 码 如 代码 清单 3-1 和 代码 清单 3-2 所 


J\o 


代码 清单 3-1 ”Hello 类 的 定义 


1 class Hello : public RPCModule 
2 { 

3 public: 

4 void hello(); 

5 


代码 清单 3-2 ”HelloClient 的 实现 


int test () 

{ 
Hello::Client helloClient (host, port); 
helloClient.hello(); 


Oe WNE 


} 


可 以 发 现 ， 在 使 用 RPC 技 术 后 ， 我 们 并 不 需要 关心 如 何 和 服务 器 通信 ， 如 何 构建 协议 ， 如 何 解析 数据 ， 而 只 需要 指定 目标 服 
务 器 (通过 主机 地 址 和 端口 号 ) ， 并 直接 像 调 用 本 地 成 员 函 数 一 样 调用 远程 服务 器 的 成 员 函 数 。 在 本 例 中 ， 直 接 在 服务 器 A 中 构 
造 了 Hello 类 的 一 个 “客户 端 ”， 并 直接 通过 该 客户 端 调 用 服务 器 B 中 Hello 类 的 hello 成 员 函 数 。 


作为 一 个 合格 的 程序 员 ， 虽 然 我 们 不 需要 自己 构造 我 们 的 工具 ， 但 必须 知道 工具 是 如 何 构造 出 来 的 (不 造 车 轮 但 必须 知道 车 
轮 的 构建 原理 ) 。 那 么 RPC 是 如 何 实 现 的 呢 ? 


RPC 的 基本 思想 其 实 非 常 简单 ， 我 们 可 以 用 图 3-1 来 描述 整个 RPC 的 架构 。 
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图 3-1 ”RPC 流程 图 
架构 中 的 各 个 组 件 如 下 。 
1) WAD: 调用 远程 过 程 的 代码 ， 如 代码 清单 3-2 中 的 test 成 员 函 数 。 


2) 客户 端 成 员 函 数 (HelloClient: : hello) : RPC 对 过 程 的 封装 。 调 用 方 调用 hello 时 并 不 是 直接 执行 hello 的 代码 ， 因 为 
hello 的 实际 代码 在 服务 器 B 中 ， 客 户 端 成 员 函 数 的 任务 是 解析 客户 端 需要 调用 的 成 员 函 数 ， 并 解析 参数 ， 将 需要 调用 的 成 员 函 数 
和 参数 传 入 下 一 层 。 


3) RPC 编 码 组 件 : 众所周知 ， 数 据 如 果 想 要 在 服务 器 之 间 通 信 ， 需 要 进行 编码 和 解码 (当然 也 可 以 直接 传送 原始 二 进 制 数 
据 ， 如 果 是 简单 的 数据 ， 这 样 是 没 问题 的 ) 。 所 以 客户 端 会 使 用 编码 组 件 对 函数 的 参数 进行 编码 ， 并 将 需要 调用 的 成 员 函 数 与 编 
码 后 的 参数 传 入 下 一 层 。 


4) RPC 连 接客 户 端 : 该 层 负责 使 用 Socket 维 护 底层 连接 ， 将 生成 的 函数 调用 请 求 转化 成 对 应 的 网 络 请 求 ， 通 过 Socket 连 接 
将 数据 发 送 到 服务 器 B。 客 户 端 需要 知道 服务 器 端 RPC 服 务 的 主机 号 和 端口 号 。 这 应 该 是 唯一 对 用 户 不 透明 的 部 分 。 


5) RPC 连 接 服务 器 : 该 层 负 责 使 用 Socket 维 护 底层 连接 ， 接 受 客户 端 请 求 ， 并 将 获取 到 的 数据 转换 成 函数 调用 请 求 (包括 
需要 调用 的 函数 与 编码 后 的 参数 ) ， 并 发 到 上 一 层 。 


6) RPC 和 解码 组 件 : 既然 客户 端 需 要 编码 ， 那 么 服务 器 就 需要 解码 。 服 务 器 这 里 需要 将 编码 后 的 参数 解码 还 原 成 本 地 语言 


以 理解 并 正确 处 理 的 数据 ， 例 如 ， 这 里 就 是 将 数据 转换 成 C++ 的 二 进 制 数据 。 这 就 是 解码 层 的 作用 。 接 着 解码 组 件 就 将 请 求 传 
入 上 一 层 。 


7) 服务 器 成 员 函 数 (Hello: : hello) : RPC 服 务 器 启动 时 ， 所 有 成 员 函 数 都 会 将 自己 的 信息 注册 到 服务 器 中 ， 服 务 器 就 
可 以 通过 客户 端 想 要 调用 的 成 员 函 数 名 找到 服务 器 上 对 应 的 成 员 函 数 ， 这 里 就 是 调用 服务 器 端的 成 员 函 数 ， 并 将 解码 后 的 参数 传 
递 给 该 成 员 函 数 。 


8) 被 调用 代码 : 即 Hello 类 中 的 hello 成 员 函 数 ， 也 就 是 真正 执行 的 代码 。 


这 里 我 们 可 以 清晰 地 看 出 ，RPC 的 架构 其 实 就 是 分 层 和 封装 ， 将 底层 的 网 络 通信 通过 客户 端的 成 员 函 数 隐藏 起 来 ， 让 底层 通 
言 对 用 户 透 明 (除了 对 方 服务 器 的 地 址 和 端口 号 ) 。 同 时 这 也 印证 了 分 层 在 网 络 通信 系统 设计 中 的 重要 性 。 


同时 ， 这 里 我 们 调用 的 是 无 返回 值 的 函数 ， 如 果 函 数 包 含 返回 值 ， 则 服务 器 需要 将 返回 发 送 回 客户 端 ， 那 么 服务 器 端 就 需要 
编码 工作 ， 而 客户 端 则 需要 解码 工作 。 此 外 ， 这 里 的 RPC 调 用 是 同步 调用 ， 也 就 是 客户 端 必须 等 到 服务 器 执行 任务 返回 后 才能 继 
续 执 行 。 实 际 情况 中 ， 我 们 常常 会 使 用 异步 调用 一 客户 端 执 行 之 后 继续 执行 其 他 代码 ， 通 过 回调 函数 对 服务 器 的 响应 进行 处 
理 。 这 两 种 方式 各 有 利 浆 ， 需 要 根据 实际 情况 取舍 。 


RPC 是 比较 早 发 展 起 来 的 网 络 通信 抽象 之 一 ， 已 经 有 许多 成 熟 的 框架 ， 如 本 章 最 后 一 节 将 会 介绍 的 Thrift。 


RPC 只 是 网 络 通信 抽象 中 的 一 种 ， 接 下 来 我 们 来 介绍 一 下 其 他 的 抽象 概念 。 


3.2 RESTful 


REST (Representational State Transfer) 指 的 是 一 种 架构 设计 风格 ， 而 满足 这 种 设计 风格 的 应 用 程序 或 设计 就 被 认为 是 
RESTful 的 。 这 也 是 目前 互联 网 中 最 流行 的 一 种 软件 架构 风格 ， 它 结构 清晰 、 符 合 标准 、 易 于 理解 ， 越 来 越 多 的 应 用 服务 开始 使 
用 RESTful 这 种 架构 风格 ， 尤 其 是 那些 基于 HTTP 协 议 的 网 络 服务 。 


REST 是 2000 年 由 Roy Thomas Fielding 在 他 的 博士 论文 中 提出 的 。Fielding 是 HTTP 协 议 的 主要 设计 者 、Apache 服 务 器 软 
件 作者 之 一 ， 因 此 他 的 论文 对 互联 网 软件 开发 产生 了 深远 影响 。 


他 认为 他 的 目的 是 “在 符合 架构 原理 的 前 提 下 ， 理 解 和 评估 以 网 络 为 基础 的 应 用 软件 的 架构 设计 ， 得 到 一 个 功能 强 、 性 能 
好 、 适 宜 通信 的 架构 ”。 最 后 他 提出 了 RESTful 架 构 。 


Fielding 在 论文 中 规定 了 一 系列 的 互联 网 软件 架构 原则 ， 将 其 命名 为 REST， 翻 译 成 中 文 是 “表现 层 状态 转移 ”。 这 些 原则 
统称 为 REST 原 则 ， 而 符合 这 些 原则 的 架构 就 是 RESTful 架 构 。 注 意 ， 这 里 并 没有 强调 具体 的 实现 技术 ， 也 就 是 说 实现 RESTful 不 
一 定 要 使 用 HTTP 协 议 ， 只 不 过 HTTP 协 议 确实 是 目前 实现 RESTfu| 服 务 的 常用 技术 方案 。 接 下 来 我 们 来 解释 一 下 到 底 什 么 叫 “ 表 
现 层 状态 转移 ”。 


3.3 ”消息 队列 


前 文 介绍 了 RPC 和 RESTful 两 种 对 网 络 通 信 的 高 层 抽象 。 无 论 这 两 种 方式 有 何不 同 ， 其 过 程 都 是 一 样 的 ， 如 下 所 示 。 


1) 调用 (RPC 里 直接 调用 过 程 ，RESTful 调 用 URI) 。 
2) 客户 端 向 服务 器 传输 数据 。 

3) 服务 器 向 客户 端 返回 数据 。 

也 就 是 说 调用 方 和 被 调用 方 是 直接 的 耦合 关系 。 

而 有 一 种 与 众 不 同 的 通信 抽象 ， 这 种 抽象 方式 可 以 形成 “ 松 耦 合 ” ， 这 就 是 消息 队列 。 


消息 队列 是 一 种 消息 投递 的 抽象 。 这 种 概念 认为 模块 之 间 互 相 调 用 可 以 分 解 成 互相 投递 消息 ， 而 模块 可 以 是 一 个 进程 中 的 两 
个 线程 ， 可 以 是 同一 台 机 器 上 的 两 个 进程 ， 可 以 是 不 同 的 两 台 机 器 上 的 服务 ， 甚 至 可 以 是 从 一 个 集群 到 另 一 个 集群 ， 其 概念 非常 
广泛 。 


消息 队列 原本 在 操作 系统 中 得 到 了 广泛 运用 。 如 Windows 这 种 微 内 核 操作 系统 ， 整 个 操作 系统 的 运转 方式 就 是 基于 消息 队 
列 ， 任 何 行为 都 可 以 抽象 为 向 某 个 进程 或 模块 发 送 消息 。 这 种 方式 成 功 地 将 内 核 中 的 不 同 部 分 独立 成 不 同 的 进程 ， 从 物理 上 完成 
了 模块 之 间 的 隔离 ， 避 免 出 现 宏 内 核 设计 不 良 时 牵 一 发 而 动 全 身 的 问题 。 哪 怕 是 在 Linux 这 种 宏 内 核 操作 系统 中 ， 消 息 队 列 也 是 
进程 间 通 信 (IPC) 的 一 种 主要 方式 。 而 这 种 天 生 的 隔离 性 也 使 得 这 种 抽象 可 以 应 用 于 不 同 的 领域 。 


消息 队列 模型 如 图 3-2 所 示 。 





图 3-2 ”消息 队列 原理 


可 以 看 到 ， 发 送 方 和 接收 方 之 间 是 一 种 “ 松 耦 合 ” 关 系 ， 也 就 是 说 发 送 者 并 不 是 将 消息 直接 发 送 到 接收 者 ， 而 是 通过 一 个 名 
为 消息 队列 的 服务 ， 由 消息 队列 帮助 发 送 方 完成 消息 的 投递 。 而 接收 者 则 负责 主动 去 消息 队列 获取 消息 ， 当 获取 到 消息 之 后 执行 
相应 服务 ， 并 通过 消息 队列 向 发 送 方 投递 一 个 “回执 ”， 表 示 服 务 执行 结果 。 


如 果 是 在 一 个 大 系统 中 的 几 个 小 系统 之 间 通 信 ， 消 息 队 列 将 是 一 种 非常 好 的 方式 ， 因 为 消息 队列 可 以 扩展 到 任何 范围 内 。 在 
现在 的 分 布 式 系统 中 ， 往 往 会 有 一 个 “分 布 式 消 息 队列 ”来 处 理 不 同 机 器 之 间 的 消息 通信 。 此 外 ， 消 息 队列 也 可 以 成 为 一 种 实现 
RPC 的 技术 ， 所 以 消息 队列 适用 性 非常 广泛 。 


将 消息 队列 应 用 到 网 络 通信 中 时 ， 常 常 需要 一 台独 立 的 消息 队列 服务 器 或 一 个 消息 队列 服务 器 集群 专门 处 理 消息 的 转发 。 这 
也 是 一 种 模块 化 与 分 离 式 的 设计 ， 让 消息 队列 专注 于 消息 的 快速 投 送 ， 而 让 其 他 服务 更 加 专注 于 实现 业务 功能 。 


现在 我 们 来 使 用 伪 代 码 前 述 一 下 运用 消息 队列 的 通信 方式 。 需 要 实现 的 代码 的 结构 如 图 3-3 所 示 。 


MessageQueue 
(from Other) 


+registerService(serviceName) 
+send(message) 


+setType(type) 
+setParam(params) 


+setDestination(destination) 





图 3-3 ”消息 队列 类 图 


从 图 3-3 中 可 以 看 出 ， 这 里 有 两 个 类 ， 分 别 为 MessageQueue 和 Message。 其 中 MessageQueue 类 依赖 于 Message。 
MessageQueue 有 两 个 方法 ， 分 别 如 下 。 


1) registerService: 用 于 注册 服务 ， 有 一 个 参数 serviceName， 表 示 服 务 名称 。 


2) send: 用 于 发 送 消息 ， 这 是 一 个 同步 发 送 服务 ， 在 发 送 时 程序 会 阻塞 。 该 函数 有 一 个 参数 为 nessage， 表 示 需 要 发 送 的 


消息 。 
Message 类 有 3 个 方法 ， 分 别 如 下 。 
1) setType: 设置 消息 类 型 。 
2) setParam: 设置 消息 的 参数 ， 参 数 是 一 个 变 长 参数 列表 ， 可 以 设置 多 个 参数 。 
3) setDestination: 设置 消息 发 送 目的 地 ， 参 数 是 目的 节点 的 名 称 。 
首先 ， 我 们 来 看 一 下 发 送 方 的 实现 逻辑 ， 内 容 如 代码 清单 3-3 所 示 。 
代码 清单 3-3 ”消息 发 送 方 代码 


int main () 


{ 





MessageQueue queue (host, port); 
queue. registerService ("A") ; 





Message message; 
message.setDestination ("B"); 
message.setType ("say"); 
message.setParam("content", "hello world"); 





Message reply = queue.send (message) ; 
std::cout << reply.getResult() << std::endl; 


return 0; 


PReRPReRPE 
OBRWNHROODIAGKRWNE 


第 3 行 ， 我 们 首先 创建 了 一 个 消息 队列 ， 并 在 第 4 行 向 消息 队列 注册 了 一 个 服务 ， 将 其 命名 为 “A”。 
接着 ， 我 们 在 第 6 行 构造 了 一 个 消息 对 象 。 

第 7 行 ， 通 过 setDestination 设 置 了 期 望 发 送 的 对 端 ， 接 着 设置 了 消息 的 类 型 和 内 容 (hello world) 。 
第 11 行 ， 我 们 通过 消息 队列 的 send 方 法 将 组 装 好 的 消息 发 送出 去 ， 并 将 对 应 的 回复 赋值 给 reply。 
编写 好 发 送 方 的 代码 后 ， 再 来 看 一 看 接收 方 的 代码 逻辑 ， 内 容 如 代码 清单 3-4 所 示 。 


代码 清单 3-4 ”消息 接收 方 代码 























1 int main () 
2 { 
3 MessageQueue queue (host, port); 
4 queue. registerService ("B"); 
5 
6 while (1 ) 
i: { 
8 Message message = queue.getMessage () ; 
9 if ( message.getType() == "say" ) 
10 { 
11 std::string content = message.getParam("content") ; 
12 Reply reply (message) ; 
T3 reply.setResult (std::string ("ok") + content); 
14 
15 queue. reply (reply) ; 
16 } 
17 } 
18 
19 return 0; 
20 } 


其 中 ， 发 送 方 根据 主机 名 和 端口 号 选择 一 个 消息 队列 服务 ， 并 在 消息 队列 中 注册 自身 信息 ， 然 后 初始 化 消息 ， 并 设置 消息 的 
目的 地 、 类 型 和 具体 的 参数 ， 最 后 使 用 send 发 送 消息 并 接收 消息 队列 的 回执 。 


接收 方 同样 也 根据 主机 名 和 端口 号 选择 一 个 消息 队列 服务 ， 并 在 消息 队列 中 注册 自身 信息 。 但 是 之 后 进入 一 个 无 限 循环 ， 我 
们 称 之 为 消息 循环 ， 主 动 去 消息 队列 中 获取 消息 (getMessage) ， 并 根据 消息 的 类 型 和 参数 执行 不 同 的 动作 ， 最 后 使 用 reply 
来 回复 消息 。 


这 是 手动 的 消息 循环 。 在 现代 的 消息 队列 中 ， 往 往 使 用 监听 器 的 方式 来 将 消息 循环 隐藏 起 来 ， 这 种 设计 方式 这 里 不 再 袭 述 ， 
在 使 用 Thrift 实 现 RPC 时 ， 我 们 同样 可 以 看 到 这 种 设计 方式 的 身影 。 


3.4 序列 化 


在 介绍 各 种 通信 抽象 时 ， 可 以 发 现 ， 无 论 什 么 抽象 方式 ， 都 需要 借助 底层 网 络 将 数据 从 一 个 节点 传输 到 另 一 个 节点 。 但 是 ， 
网 络 中 只 能 传输 二 进 制 数据 ， 因 此 我 们 在 传输 数值 之 间 必 须 进行 编码 和 解码 。 在 高 层 的 通信 抽象 中 ， 我 们 将 这 种 编码 和 解码 称 之 
为 “序列 化 ”和 “ 反 序 列 化 ”。 


序列 化 就 是 将 某 种 语言 运行 时 数据 转化 成 可 以 传输 的 二 进 制 数据 或 文本 数据 ， 而 反 序 列 化 就 是 将 序列 化 后 的 二 进 制 数据 或 文 
本 数据 逆向 恢复 成 运行 时 数据 。 


现在 很 多 语言 自身 提供 了 序列 化 和 反 序 列 化 功能 ， 如 Java、C#、Python 等 。 但 是 这 些 语言 的 序列 化 / 反 序列 化 功能 往往 和 
语言 自身 的 二 进 制 存储 布局 有 关 ， 因 此 一 种 语言 产生 的 序列 化 结果 很 难 在 另 一 种 语言 中 反 序列 化 。 


为 了 解决 这 个 问题 ， 目 前 已 经 出 现 了 许多 跨 语 言 跨 平台 的 序列 化 解决 方案 。 其 中 分 为 两 类 : 一 类 专注 于 数据 的 序列 化 和 反 序 
列 化， 只 负责 对 “对 象 ”的 内 部 数据 进行 序列 化 和 反 序 列 化 ; 另 一 类 则 希望 构建 一 个 完整 的 跨 平 台 RPC 服 务 体系 ， 不 仅 是 数据 ， 
连 功能 接口 都 是 与 语言 无 关 的 。 


第 一 类 解决 方案 包括 各 种 语言 的 XML、JSON 库 ， 这 类 库 可 以 将 对 象 序列 化 成 XML 文档 或 JSON 文 档 。 另 一 种 语言 内 可 以 直 
接 使 用 XML、JSON 库 将 这 些 序列 化 后 的 内 容 反 序列 化 。 这 类 解决 方案 的 优点 如 下 。 


1) 所 有 数据 都 使 用 纯 文 本 传输 ， 序 列 化 后 的 内 容 人 类 可 以 理解 ， 方 便 检 查 错误 。 
2) 得 到 所 有 语言 的 广泛 支持 。 
其 缺点 如 下 。 


1) 不 同 语言 的 解析 库 种 类 繁多 ， 接 口 不 一 ， 往 往 在 不 同 语言 中 迁移 需要 学 习 新 的 库 和 新 的 接口 ， 哪 怕 有 些 接口 相似 ， 学 习 
成 本 也 是 无 法 估计 的 。 


2) 纯 文本 传输 数据 元 余 严 重 ， 在 对 数据 传输 量 要 求 比较 高 的 场景 下 无 法 使 用 。 


第 一 类 解决 方案 也 可 以 使 用 一 些 自 定 协议 的 序列 化 / 反 序 列 化 方案 。 这 类 方案 都 会 自己 定义 序列 化 的 协议 ， 而 且 支 持 广泛 的 
数据 类 型 ， 普 遍 采 用 二 进 制 编码 ， 如 Google 的 Protobuf 以 及 Apache Avro。 其 优点 如 下 。 


1) 采用 二 进 制 协议 ,数据 元 余 少 ， 体 积 小 ， 性 能 普遍 更 好 .。 
2) 对 支持 的 语言 提供 的 接口 一 致 ， 不 同 语言 之 间 迁 移 的 学 习 成 本 很 低 。 


其 缺点 如 下 。 


1) 二 进 制 协议 自身 很 难 理解 ， 一 旦 出 现 问题 很 难 发 现 。 
2) 支持 语言 种 类 较 少 。 如 果 使 用 的 语言 不 受 支持 ， 常 常 需要 自己 开发 库 来 进行 解析 ， 可 能 会 在 无 意 中 提 高 成 本 。 


第 二 类 解决 方案 不 仅 提 供 了 序列 化 的 能 力 ， 还 提供 了 跨 平台 的 统一 接口 ， 此 类 产品 以 Thrift 为 代表 。 随 后 我 们 将 会 介绍 
Thrift， 并 使 用 Thrift 完 成 一 个 项 目 示例 。 


3.5 ”使 用 Thrift 实 现 公 告 牌 服务 


在 上 一 章 中 ， 我 们 使 用 操作 系统 底层 的 Socket 实 现 了 一 个 公告 牌 服务 。 可 以 发 现 ， 在 那个 程序 中 ， 对 底层 通信 的 处 理 占 用 
了 大 量 的 代码 ， 而 真正 的 业务 逻辑 只 有 极 少 一 部 分 ， 所 以 直接 使 用 Socket 技 术 开 发 应 用 程序 是 复杂 且 低 效 的。 此 外 ， 消 息 在 不 
同 机 器 间 传 递 时 ， 我 们 还 需要 在 发 送 端 将 其 转换 为 二 进 制 数据 ， 并 在 接收 端 解析 恢复 ， 这 无 疑 也 会 带 来 很 大 的 工作 量 。 


而 Apache Thrift 很 好 地 帮助 我 们 解决 了 这 些 问 题 。 一 方面 Thrift 提 供 了 稳定 健壮 的 RPC 服 务 器 实现 ， 另 一 方面 Thrift 会 负责 
帮 有 我 们 进行 数据 的 序列 化 和 反 序 列 化 。 接 下 来 让 我 们 看 一 下 如 何 使 用 Apache Thrift 直 接 实现 上 一 章 中 的 公告 牌 服务 。 


3.6 ”本 章 小 结 


本 章 介绍 了 一 些 在 实际 项 目 开 发 中 常用 的 通信 系统 的 高 层 抽象 ， 这 些 都 是 进行 分 布 式 系统 开发 时 需要 的 基本 概念 与 基本 工 
具 ， 包 括 远程 过 程 调用 、RESTful 架 构 、 消 息 队 列 和 序列 化 。 并 介绍 了 一 些 基本 知识 与 解决 方案 。 希 望 读 者 能 够 结合 前 一 章 关 于 
网 络 的 基础 知识 充分 理解 这 些 内 容 ， 并 在 后 续 开发 过 程 中 慢 慢 熟练 掌握 这 些 技术 。 


第 4 章 ” 走 进 C++ 高 性 能 编程 


本 书 中 的 绝 大 部 分 内 容 均 是 基于 C/C++ 进行 编写 的 。 事 实 上 ，C++ 是 一 门 十 分 复杂 ， 又 包罗 万 象 的 高 级 编程 语言 。 在 开始 
编写 实时 处 理 系统 之 前 ， 笔 者 希望 通过 这 样 一 个 特殊 而 又 重要 的 章节 ， 用 一 个 小 规模 的 留言 板 系 统 作为 引子 ， 重 点 关注 稳定 性 和 
性 能 ， 尽 可 能 覆盖 到 绝 大 多 数 在 后 期 会 使 用 到 的 关键 编程 技术 以 及 技巧 ， 这 其 中 包括 通信 、 资 源 管 理 、 编 码 、I/O 处 理 以 及 内 存 
管理 等 问题 。 由 于 C++ 并 不 像 Java 或 Objective-C 那 样 与 生 俱 来 地 “动态 。， 因 此 我 们 在 使 用 C++ 进 行 编程 时 ， 要 考虑 更 多 方面 
的 问题 ， 如 序列 化 与 反 序列 化 、 反 射 等 。 嗯 ! 前 方 的 道路 荆棘 密布 ， 但 我 们 确实 有 办 法 来 逐一 解决 这 些 问 题 。 通 过 本 书 的 学 习 ， 
相信 大 家 不 仅 能 够 了 解 实时 处 理 系统 的 内 部 实现 原理 ， 更 能 深刻 体会 在 这 之 后 的 底层 技术 的 实现 方法 。 


本 章 中 将 会 出 现 两 个 人 一 一 Samuel 和 和 Lionel， 他 们 是 好 朋友 ， 而 且 都 对 技术 有 浓厚 的 兴趣 。 这 两 个 人 将 会 陪伴 我 们 贯穿 本 
章 始终 ， 现 在 就 跟着 他 们 一 起 来 学 习 本 章 的 知识 。 


本 章 所 涵盖 的 内 容 较 广 ， 因 此 读者 需要 具备 一 定 的 C++ 编程 经 验 和 功底 。 笔 者 建议 阅读 《C++ 编程 思想 》 作 为 基础 ， 阅 读 
《高 级 C/C++ 编译 技术 》 作 为 提高 [1]。 


提示 “这 里 所 谓 的 动态 语言 ， 指 的 是 在 编译 后 ， 将 类 、 变 量 、 函 数 等 元 素 的 元 数据 保留 在 生成 的 二 进 制 文件 中 的 语言 。 这 种 
语言 的 特点 是 可 以 在 运行 时 动态 链接 装载 模块 ， 并 获取 模块 相关 数据 ;可 以 在 运行 时 动态 创建 对 象 ， 或 者 创建 、 删 除 、 人 和 修改 类 与 
函数 。 其 中 Java 和 Objective-C 均 属于 这 类 语言 。 


而 静态 语言 则 只 会 产生 与 执行 相关 的 必要 二 进 制 代码 ， 不 会 存储 过 多 的 元 数据 ， 因 此 运行 时 无 法 动态 创建 或 者 修改 类 。 


C++ 就 是 这 一 类 语言 。 
但 是 由 于 静态 语言 不 需要 支持 动态 特性 ， 所 以 往往 在 性 能 上 强 于 动态 语言 。 


[1] 《C++ 编程 思想 >》 (Thinking in C++ Volume One: Introduction to Standard C++ &Volume 2: Practical Programming (2nd 
Edition) ) 已 于 2011 年 7 月 由 机 械 工业 出 版 社 出 版 。《 高 级 C/C++ 编 译 技术 》 (Advanced C and C++ Compiling) 已 于 2015 年 4 月 
由 机 械 工 业 出 版 社 出 版 。 


4.1 基于 C++ 的 留言 板 系统 


在 前 两 章 中 ， 我 们 都 谈 到 了 一 个 留言 板 系 统 ， 但 是 那个 系统 非常 受 限 一 一 我 们 只 能 向 留言 板 服务 器 推送 数据 ， 或 者 从 留言 
板 获 取 最 新 的 数据 。 但 是 一 个 正常 的 留言 板 系 统 应 当 允 许 我 们 查看 任意 一 条 在 系统 中 存在 的 消息 。 


第 2 章 中 我 们 设计 了 一 个 非常 简单 的 二 进 制 协议 ， 并 使 用 C+ + 和 简单 的 Socket 编 写 了 一 个 示例 程序 ， 整 个 过 程 非常 繁琐 而 复 


y 


而 在 第 3 章 中 我 们 则 借助 了 强大 的 Thrift， 一 方面 解决 了 客户 端 与 服务 器 之 间 留 言 板 消息 数据 序列 化 的 问题 ， 另 一 方面 还 构 
建 了 客户 端 与 服务 器 ， 让 我 们 可 以 专注 于 业务 逻辑 ， 而 不 必 关 心 Socket 编 程 的 繁琐 细节 。 


但 是 就 如 前 文 所 说 ， 之 前 所 实现 的 功能 实在 过 于 简单 ， 甚 至 无 法 获取 到 留言 板 中 的 历史 消息 。 一 方面 为 了 弥补 这 个 缺陷 ， 另 
一 方面 为 了 系统 地 讲解 C+ + 面向 对 象 程序 设计 与 高 性 能 的 编程 的 相关 知识 点 ， 本 章 将 会 带 着 大 家 从 头 开始 ， 使 用 C++ 编写 一 个 
新 的 留言 板 系 统 。 根 据 实际 情况 对 协议 进行 重新 设计 (从 某 些 方面 来 讲 是 简化 了 协议 ) 。 


那么 可 能 大 家 会 问 ， 既 然 有 了 Thrift 这 种 解决 方案 ， 我 们 又 为 何 要 自己 来 编写 通信 代码 呢 ” 为 何不 能 直接 使 用 Thrift 来 构造 
这 个 系统 呢 ? 这 里 有 两 方面 的 考量 。 


其 一 ， 是 因为 虽然 我 们 不 提倡 在 实际 工程 项 目 中 总 是 自己 “ 造 车 轮 ”， 但 是 在 学 习 过 程 中 ， 为 了 更 深入 理解 一 个 系统 的 原 
理 ， 我 们 必须 学 会 如 何 去 “ 造 车 轮 ”， 这 样 我 们 才 会 对 这 些 系统 有 更 加 深刻 的 认识 。 一 旦 出 现 一 些 复杂 而 隐秘 的 问题 ， 在 学 
习 “ 造 车 轮 ” 过 程 中 积累 的 经 验 知识 往往 就 会 起 重要 作用 了 。 因 此 ， 虽 然 我 们 一 般 不 需要 自己 造 车 轮 ， 但 必须 懂得 如 何 造 车 轮 。 
而 构建 这 么 一 个 留言 板 系 统 正 是 一 个 造 车 轮 的 过 程 。 我 们 可 以 了 解 Thrift 隐 藏 了 哪些 细节 ， 了 解 网 络 节点 之 间 的 通信 原理 ， 甚 至 
可 以 理解 Thrift 设 计 的 一 些 精妙 之 处 。 所 以 让 我 们 抛 开 Thrift， 自 己 来 解决 我 们 遇 到 的 问题 吧 。 


其 二 ,俗话 说 “世界 上 没有 万 能 的 银 弹 ”， 因 此 在 很 多 情况 下 ， 现 有 工具 无 法 满足 我 们 的 所 有 需求 (包括 功能 性 需求 和 非 功 
能 性 需求 ) 。 正 因为 如 此 ， 我 们 往往 会 自己 编写 相应 的 库 或 者 框架 来 帮助 我 们 完成 任务 。 还 有 一 种 情况 就 是 原 有 的 库 或 者 框架 与 
自己 的 系统 框架 风格 不 符 ， 这 时 也 可 能 会 在 外 面包 装 一 层 。 


几 事 需 躬 亲 ， 既 然 已 经 讲 了 那么 多 ， 那 么 我 们 还 是 快 点 来 动手 吧 。 


4.2 来自 服 务 器 的 天 书 


Samuel 非 常 喜 欢 这 个 留言 板 系 统 ， 他 根据 以 上 的 讲解 自己 构建 了 一 个 留言 板 系 统 。 他 甚至 将 这 个 留言 板 系统 当 在 线 笔记 使 
用 ， 在 办 公 室 的 时 候 可 以 用 办 公 室 的 机 器 将 消息 推送 到 留言 板 上 ， 回 到 家 也 可 以 获取 消息 。 唯 一 的 问题 是 他 在 办 公 室 使 用 的 系统 
是 Linux， 而 回 家 之 后 使 用 的 则 是 Windows。 但 我 们 的 系统 使 用 的 是 标准 的 Socket， 因 此 可 以 直接 移植 到 Windows 上 ， 使 用 
WinSocket 编 译 。 


但 是 某 天 ，Samuel 突 然 对 汉语 非常 感 兴趣 ， 于 是 报 了 汉语 学 习 班 。 学 了 半年 之 后 ， 他 觉得 自己 已 经 可 以 阅读 许多 中 文 了 ， 
因此 他 想 将 家 里 的 Windows 切 换 成 中 文 ， 于 是 他 在 Windows 中 下 载 了 多 国语 言 包 ， 并 将 系统 的 默认 语言 改 成 了 简体 中 文 。 


但 是 问题 也 就 随 之 而 来 。 


Samue| 每 次 在 办 公 室 使 用 Linux 推 送 中 文 后 ， 直 接 在 办 公 室 获取 到 的 文字 显示 是 正常 的 ， 但 是 每 次 回 家 之 后 ， 在 Windows 
中 获取 消息 时 ， 显 示 在 控制 台 上 的 是 一 串 看 不 懂 的 文字 。Samuel 觉 得 这 是 一 段 生 涩 的 、 天 书 一 般 的 汉语 ， 但 是 系统 开发 者 看 到 
之 后 发 现 其 实 这 不 是 天 书 ， 而 是 乱码 。 


4.3 繁忙 的 服务 器 


现在 我 们 的 服务 器 功能 算是 完善 了 。Samuel 非 常 开心 地 用 着 自己 开发 的 系统 。 但 是 有 一 天 ，Samuel 的 同事 Lionel 看 到 他 在 
摆弄 一 个 黑 框 框 ， 觉 得 非常 好 奇 。 当 Samuel 告 诉 Lionel 这 是 他 自己 开发 的 留言 板 系统 时 ，Lione| 提 出 他 也 想 试用 一 下 这 个 软 
件 。 


于 是 Samuel 将 自己 的 客户 端 复制 给 了 Lionel。 但 是 Lionel 执 行程 序 之 后 ， 发 现 自己 的 客户 端 一 直 无 法 连接 到 SamuelI 的 服务 
器 。 更 奇怪 的 是 ， 如 果 Samuel 没 有 启动 自己 的 客户 端 ，Lionel 就 可 以 连接 上 去 。 


经 过 试验 ，Samuel 发 现 永 远 只 有 一 个 客户 端 可 以 连接 到 服务 器 中 。 于 是 Samuel 开 始 阅 读 自己 编写 的 服务 器 代码 ， 终 于 发 现 
了 问题 所 在 。 


Samuel 发 现 ， 他 的 程序 永远 只 能 接受 一 个 连接 ， 服 务 器 也 只 能 和 这 么 一 个 连接 的 客户 端 通信 。 于 是 samuel 开 始 思考 如 何 处 


理 这 个 问题 。 


44 ”消失 不 见 的 内 存 


从 Samuel 改 造 完 他 的 程序 算 起 ，Samuel 和 Lionel 使 用 这 个 简陋 的 留言 板 程序 也 有 2 个 月 了 ， 他 们 的 一 些 好 友 也 开始 使 用 这 
个 程序 。 他 们 为 这 个 程序 加 了 人 存储 功能 (将 留言 保存 在 本 地 文件 中 ， 需 要 的 时 候 再 获取 ， 否 则 程序 关闭 之 后 数据 会 丢失 ) ， 并 把 
服务 程序 放 在 了 一 台 便 宜 的 云 服 务 器 上 ， 便 于 大 家 访问 。 


程序 也 算 足 够 稳定 (主要 是 功能 确实 简单 ) ， 平 平稳 稳 地 运行 了 那么 长 时 间 ， 一 直 没 有 出 过 问题 。 但 是 有 一 天 ，Samuel 突 
然 发 现 服务 器 响应 变 得 特别 慢 ， 于 是 他 登录 服务 器 查看 了 一 下 情况 ， 原 来 是 服务 程序 已 经 占 满 了 服务 器 的 内 存 。 


Samuel 百 思 不 得 其 解 ， 因 为 他 已 经 做 了 数据 的 离线 存储 和 缓存 层 ， 只 有 访问 频率 最 高 的 数据 才 会 加 载 到 内 存 中 ， 内 存 为 什 
么 会 被 占 满 呢 ? 难道 是 臭名 昭著 的 内 人 存 泄漏 ? 


为 了 排除 问题 ，Samuel 重 新 启动 了 他 的 服务 器 ， 并 编写 一 个 程序 大 量 发 送 请 求 给 服务 器 ，Samuel 发 现 占 用 内 人 存 会 随 着 请 求 
数量 的 增多 不 规律 而 且 不 正常 地 增长 ， 和 内 存 泄 漏 一 样 。 


于 是 Samuel 使 用 valgrind 来 分 析 服 务 器 的 内 存 泄 漏 问题 ， 奇 怪 的 事情 发 生 了 一 一 并 没有 任何 内 存 泄漏 问题 ， 一 切 都 是 正常 
的 。 


Samuel 不 得 不 去 网 上 咨询 这 个 问题 ， 最 后 得 到 的 答案 是 ， 这 不 是 内 存 泄漏 ， 而 是 内 存 碎 片 问题 。 


4.5 ”本 章 小 结 


虽然 本 章 以 一 个 留言 板 系 统 作为 示例 贯穿 始终 ,但 其 实 内 容 非 常 繁杂 ， 涉 及 C++ 中 往往 不 为 初学 者 关注 的 方方面面 ， 包 括 
通信 问题 、 资 源 管理 问题 、 编 码 问 题 、I/O 处 理 问题 以 及 内 存 管 理 问题 。 这 些 问 题 都 会 对 整个 系统 的 稳定 性 和 性 能 造成 很 大 的 影 
响 。 而 通信 的 封装 管理 、 并 发 方法 与 MO 处 理 以 及 最 后 提 到 的 内 存 管理 技术 这 些 与 C++ 相关 的 知识 则 是 在 C++ 的 高 性 能 编程 中 必 
须要 注意 的 基本 知识 ， 并 需要 读者 自己 课 后 阅读 相关 资料 ， 深 入 了 解 这 些 内 容 ， 与 自己 的 实际 需求 有 机 结合 ， 选 择 最 好 的 解决 方 


第 ? 章 分布 式 实时 处 理 系统 


众 所 皆 知 ， 现 在 已 经 进入 所 谓 的 大 数据 时 代 ， 数 据 量 的 爆发 性 增长 对 数据 的 存储 和 处 理 能 力 都 带 来 了 极 大 考验 ， 因 此 现在 的 
数据 系统 中 ， 分 布 式 存储 系统 和 分 布 式 计算 系统 越 来 越 为 普遍 。 而 在 分 布 式 技术 刚刚 开始 普及 的 早期 ， 开 源 的 分 布 式 解决 方案 非 
常 单一 ， 基 本 只 有 大 家 所 熟知 的 Apache Hadoop， 因 此 当时 Hadoop 几 乎 成 为 分 布 式 计 算 和 云 计 算 的 代名词 。 


但 现在 许多 实际 应 用 场景 对 系统 计算 和 存储 的 实时 性 要 求 越 来 越 高 ， 而 Hadoop 则 是 为 批 处 理 场景 设计 的 ， 因 此 Hadoop 无 
法 满足 现在 的 许多 需求 。 另 一 方面 ，Hadoop 由 于 依赖 于 HDFS 这 种 分 布 式 文件 系统 ， 因 此 其 计算 速度 也 部 分 受 限 于 MO， 成 为 其 
计算 速度 的 瓶 巴 。 为 了 解决 Hadoop 的 这 些 问 题 ， 现 在 出 现 了 越 来 越 多 的 分 布 式 人 存储 与 计算 的 解决 方案 。 


例如 ， 为 了 提升 批 处 理 计算 的 性 能 ，Apache 旗 下 有 另 一 款 产 品 Spark， 在 批 处 理 计算 性 能 上 远 胜 于 Hadoop。 而 为 了 解决 
实时 计算 的 问题 ，Twitter 则 推出 了 Storm (目前 已 经 纳入 Apache 基 金 会 ) 。 而 本 书 则 聚焦 于 Apache Storm 的 实现 问题 一 一 如 
何 理解 Apache Storm 的 实现 ， 并 使 用 C+ + 实现 一 个 完整 的 分 布 式 实时 计算 系统 。 





5.1 Hadoop 与 MapReduce 


现在 讲 起 任何 分 布 式 系统 都 不 得 不 提 Apache Hadoop。 在 那个 缺少 分 布 式 框架 的 年 代 ， 该 系统 可 以 说 是 开源 分 布 式 计算 产 


品 的 代名词 。 


Hadoop 是 一 个 完整 的 分 布 式 人 存储 与 计算 解决 方案 ， 也 就 是 说 其 兼顾 仓储 与 计算 ， 并 将 分 布 式 人 存储 与 计算 融合 在 了 一 个 框架 
中 。 而 Hadoop 中 最 重要 的 两 个 组 成 部 分 就 是 HDFS 和 MapReduce 模 型 。 首 先 ，Hadoop 使 用 HDFS 作 为 其 分 布 式 文件 系统 ， 解 
决 了 分 布 式 存储 的 问题 ， 其 次 ，Hadoop 使 用 MapReduce 模 型 作为 其 计算 模型 ,解决 了 分 布 式 计算 的 问题 。 最 后 ，Hadoop 的 
MapReduce 完 全 依赖 于 HDFS 这 种 分 布 式 文件 系统 ， 其 节点 之 间 的 数据 交换 需要 依赖 于 HDFS 实 现 。 


5.2 Storm 实 时 处 理 系统 


前 面 介绍 的 Hadoop 是 分 布 式 批 处 理 计算 的 代表 。 但 是 对 于 很 多 问题 ， 我 们 必须 要 使 用 分 布 式 的 实时 计算 引擎 来 解决 ， 而 
Apache Storm 是 目前 最 为 流行 的 分 布 式 实时 处 理 系 统 之 一 。 


5.3 ”有 保证 的 消息 处 理 


Storm 自己 最 引 以 为 豪 的 一 点 就 是 它 的 消息 处 理 机 制 。Storm 设 计 了 一 套 机 制 ， 保 证 每 一 个 元 组 在 集群 中 必定 可 以 被 处 理 一 
次 ， 并 且 只 会 被 处 理 一 次 。 现 在 就 让 我 们 来 分 析 一 下 Storm 的 消息 机 制 ， 看 看 Storm 是 如 何 实现 消息 处 理 的 ， 这 对 我 们 也 会 有 很 
大 的 借鉴 意义 。 


5.4 ”本 章 小 结 


本 章 主要 以 Storm 为 例 ， 探 讨 了 实际 的 分 布 式 实时 处 理 系统 。 


首先 我 们 介绍 了 Hadoop， 并 重点 讨论 了 Hadoop 的 MapReduce 计 算 模型 ， 同 时 也 提出 了 分 布 式 计算 系统 的 一 个 基本 思路 
> 治 法 。 最 后 我 们 讨论 了 Hadoop 的 局 限 性 ， 因 此 需要 其 他 的 系统 来 配合 Hadoop 应 付 复杂 的 应 用 场景 。 





接着 我 们 介绍 了 Apache Storm。 首 先 简 述 了 Storm 的 发 展 历史 ， 然 后 阐述 了 Storm 的 计算 模型 ， 并 重点 讨论 了 其 中 的 几 个 
关键 概念 。 最 后 介绍 了 Storm 的 架构 ， 并 分 析 了 Storm 与 Hadoop 之 间 的 优 务 ， 前 述 了 同时 使 用 Hadoop 与 Storm， 取 长 补 短 的 
思路 。 


最 后 我 们 重点 讨论 了 storm 的 消息 处 理 方法 ， 曾 述 了 storm 中 的 消息 处 理 方法 ， 并 讲解 了 storm 的 可 靠 性 API1， 讨 论 如 何在 
storm 中 确保 元 组 一 定 被 处 理 完 成 。 最 后 我 们 介绍 了 storm 中 显示 可 靠 消息 处 理 的 关键 算法 一 一 随机 数 与 异 或 结合 的 算法 。 


相信 读 完 本 章 之 后 ， 读 者 会 对 分 布 式 实时 处 理 系 统 以 及 Storm 有 更 加 深入 的 理解 。 


OR ”实时 处 理 系统 编程 接口 设计 


本 章 开始 ， 我 们 就 来 看 看 如 何 实现 一 个 实时 处 理 系统 。 本 章 将 会 讲解 一 下 实时 处 理 系统 的 高 层 接口 ， 让 用 户 了 解 系统 各 个 组 
件 之 间 的 关系 。 


6.1 忌 体 架构 设计 


在 本 书 中 ,我 们 将 一 起 从 头 编写 一 套 完整 的 基于 C/C++ 的 高 性 能 实时 处 理 系 统 。 我 们 会 从 整体 到 细节 、 从 基础 到 复杂 、 从 
底层 到 高 屋 ， 逐 一 实现 一 套 具 备 完整 功能 的 实时 处 理 系 统 ， 这 其 中 包括 基本 的 分 布 式 节 点 、 底 层 通信 系统 、 拓 扑 结构 、 高 层次 控 
制 器 、 分 布 式 远程 过 程 调用 的 设计 以 及 高 层次 抽象 元 语 等 功能 的 设计 与 实现 。 这 些 概念 现在 看 起 来 可 能 还 十 分 生疏 ， 不 过 没 关 
系 ， 随 着 我 们 系统 设计 与 架构 实现 的 逐渐 深入 ， 这 些 看 起 来 十 分 “抽象 ”的 概念 和 组 件 实现 也 就 不 是 什么 难题 了 。 与 此 同时 ， 我 
们 会 在 系统 架构 设计 和 代码 编写 实战 的 过 程 中 ， 对 其 中 涉及 的 知识 点 逐一 进行 详细 讲解 ， 尽 可 能 让 读者 对 我 们 所 开发 的 高 性 能 实 
时 处 理 系 统 有 一 个 全 方位 立体 的 理解 和 认识 。 现 在 让 我 们 先 来 讲解 Hurricane 的 总 体 架 构 设计 。 


6.2 消息 源 接口 1 SiT 


消息 源 的 作用 是 产生 消息 ， 将 元 组 发 送 到 拓扑 结构 中 ， 建 立 计算 拓扑 中 的 流 。 每 个 消息 源 都 会 创建 出 一 条 自己 的 流 。 其 接口 
设计 如 代码 清单 6-2 所 示 。 


代码 清单 6-2 ”1Spout 接 口 定义 





virtual ISpout* Clone() const = 0; 


}; 


1 namespace hurricane 

2 

3 

4 namespace spout 

5 

6 

7 class ISpout : public base::ITask 
8 { 

9 public: 
10 virtual void Open (base: :OutputCollectoré outputCollector) = 0; 
11 virtual void Close() = 0; 
12 virtual void Execute() = 0; 
13 
14 
15 
16 
17 
18 





该 接口 的 UML 图 如 图 6-4 所 示 。 


[Spout 


(from spout) 


+Clone(): ISpout* 


+Open(outputCollector: OutputCollector): void 
+Close(): void 


+Execute(values: Values): void 





图 6-4 ISpout 类 图 
一 个 消息 源 是 一 个 ITask 的 实例 ， 也 就 是 一 个 具体 的 任务 。 消 息 源 定义 在 名 称 空间 hurricane: : spout, 


其 中 Open 负 责 打 开 并 初始 化 一 个 新 的 消息 源 ， 并 将 OutputCollector 也 就 是 一 个 消息 处 理 器 对 象 传递 给 该 方法 。 
OutputCollector 是 Hurricane 的 数据 收集 器 ， 负 责 收集 数据 并 将 数据 传 到 其 他 的 Bolt 节 点 ， 由 于 数据 传输 牵涉 到 网 络 层 ， 这 里 
为 了 避免 让 用 户 关心 过 于 底层 的 问题 ， 因 此 我 们 使 用 OutputCollector 进 行 了 一 层 封装 。 至 于 OutputCollector 的 实现 将 会 在 后 
面 讲解 ， 网 络 层 实 现 将 会 在 讲 网 络 通信 传输 时 详细 阐述 。 


close 成 员 函 数 则 用 于 关闭 该 消息 源 ， 在 拓扑 结构 停止 运行 时 会 被 调用 ， 以 清理 消息 源 对 象 使 用 的 环境 资源 。 


Execute 成 员 函 数 是 最 重要 的 函数 。 任 务 执行 器 会 不 断 执行 该 任务 ， 并 通过 该 任务 不 断 向 拓扑 结构 中 输入 数据 。 所 以 消息 源 


该 成 员 还 有 一 个 Clone 成 员 函 数 ， 用 于 在 扒 上 产生 对 象 自身 的 一 份 副本 ， 并 将 复制 对 象 的 指针 返回 。 任 务 执行 器 会 使 用 该 方 
法 来 根据 用 户 定义 的 Spout 复 制 生成 任务 。 


6.3 ”消息 处 理 器 接口 设计 
消息 处 理 器 用 于 接收 上 一 个 任务 发 送出 来 的 消息 ， 并 对 消息 进行 处 理 加 工 ， 再 将 处 理 结果 发 送 到 下 一 个 消息 处 理 器 中 ， 是 一 
个 典型 的 “输入 -计算 -输出 ”的 执行 单元 。 
消息 处 理 器 的 接口 如 代码 清单 6-3 所 示 。 
代码 清单 6-3 1Bolt 接 口 定 义 
namespace hurricane 
namespace bolt 


class IBolt : public base::ITask 
{ 


OOND Bbw 


public: 


virtual void Prepare (base: :OutputCollector& outputCollector) = 0; 
virtual void Cleanup() = 
virtual void Execute (const. base::Values& values) = 0; 








virtual IBolt* Clone() const = 0; 


OND nwWNEO 








消息 处 理 器 的 接口 和 消息 源 的 接口 非常 类 似 。 我 们 将 其 定义 在 hurricane: : bolt 名 称 空间 中 。 


该 接口 的 UML 图 如 图 6-5 所 示 。 


IBolt 
(from bolt) 


+Prepare(outputCollector) 
+Cleanup() 


+Execute(values) 
+Clone() 





图 6-5 IBolt 类 图 


第 1 个 成 员 函 数 是 Prepare， 作 用 是 在 任务 启动 之 前 对 任务 对 象 进行 初始 化 ， 和 消息 源 中 的 Open 极 为 相似 ， 在 整个 任务 的 生 
命 周期 内 只 会 被 调用 一 次 。 


第 2 个 成 员 函 数 是 Cleanup。 作 用 是 在 拓扑 结构 停止 时 对 任务 的 资源 进行 清理 。 在 整个 任务 的 声明 周期 内 也 只 会 被 调用 一 


第 3 个 成 员 函 数 是 Execute， 该 函数 和 消息 源 中 的 Execute 一 样 ， 会 被 不 断 执行 。 但 是 和 消息 源 中 的 Exeucte 不 同 ， 消 息 源 中 
的 Execute 会 被 主动 反复 执行 ， 而 消息 处 理 器 中 的 Execute 则 属于 被 动 执行 一 一 只 有 在 其 他 的 处 理 节点 的 数据 到 来 时 才 会 调用 该 
成 员 函 数 ， 因 此 在 没有 数据 到 来 时 ， 数 据 处 理 器 往往 处 于 阻塞 状态 。 





最 后 一 个 函数 是 Clone 函 数 ， 该 函数 的 作用 和 数据 源 中 的 Clone 函 数 一 样 ， 用 于 复制 任务 对 象 。 


6.4 数据 收集 器 设计 


数据 收集 器 的 作用 较为 单一 ， 负 责 进行 数据 传递 ， 因 此 其 接口 也 比较 简单 ， 如 代码 清单 6-2 所 示 。 


代码 清单 6-4 _ OutputCollector 接 口 定 义 




















1 namespace hurricane 
2 { 
3 
4 namespace base 
3 { 
6 
7 class OutputCollector 
8 { 
9 public: 
10 struct Strategy 
1 { 
2 enum Values 
3 
4 Global = 0, 
5 Random = 1, 
6 Group = 2 
7 }; 
8 }; 
19 
20 OutputCollector (const std::string& src, int strategy) 
21 _src(src), _strategy (strategy), _commander(nullptr) {} 
22 
23 virtual void Emit (const Values& values); 
24 void SetCommander (hurricane: :message: :ManagerCommander* commander) 
25 { 
26 if ( commander ) 
27 { 7 
28 delete _commander; 
29 } 
30 
31 _commander = commander; 
32 
33 
34 void SetTaskIndex (int taskIndex) 
35 
36 taskIndex = taskIndex; 
37 E 
38 
39 void SetGroupField(int groupField) 
40 
41 _groupField = groupField; 
42 
43 
44 int GetGroupField() const 
45 
46 return groupField; 
47 = 
48 
49 virtual void RandomDestination() = 0; 
50 virtual void GroupDestination() = 0; 
51 
52 private: 
53 std::string src; 
54 int _strategy; 
55 int taskIndex; 
56 hurricane: :message: :ManagerCommander* _ commander; 
57 int _groupField; 
58 }; 
59 
60 } 
61 } 





该 接口 的 UML 类 图 如 图 6-6 所 示 。 


OutputCollector 
(from base) 


+OutputCollector(src, strategy) 
«void» +Emit(values) 


“void» +SetCommander(commander) 
«void» +SetTaskIndex(taskIndex) 
«void» +SetGroupField(groupField) 
«int» +GetGroupField() 


《vold> +RandomDestination() 
«void» +GroupDestination() 





图 6-6 OuptutCollector# 4 
OutputCollector 的 接口 定义 在 hurricane: : base 中 ， 是 Hurricane 的 基础 类 型 之 一 。 


第 10 行 定义 了 一 个 结构 体 名 为 Strategy， 包 含 了 一 个 名 为 Values 的 枚 举 类 型 。Strategy 指 的 是 数据 收集 器 的 发 送 策略 。 目 
前 我 们 定义 了 3 种 数据 发 送 策略 ， 分 别 为 Clobal、Random 和 Group。 


第 1 种 策略 是 Global， 即 全 局 发 送 策略 ， 在 Output-Collector 初 始 化 的 时 候 就 确定 向 一 个 固定 的 数据 处 理 单元 发 送 数据 ， 在 
整个 拓扑 结构 的 运行 过 程 中 都 不 会 改变 。 这 是 一 种 最 简单 的 数据 发 送 策略 。 


第 2 种 策略 是 Random， 顾 名 思 义 就 是 随机 发 送 ， 这 种 策略 会 在 每 次 发 送 时 都 从 合法 的 下 一 批 目标 节点 中 随机 选择 一 个 并 发 
送 到 该 数据 处 理 单元 。 也 是 一 种 常用 的 策略 。 不 过 ， 由 于 每 次 都 要 和 整个 集群 的 中 央 节 点 通信 以 获得 下 一 个 消息 处 理 单元 的 位 
置 ， 所 以 效率 相对 于 第 一 种 策略 较 低 。 


第 3 种 策略 是 Group。Group 策 略 是 一 种 分 组 发 送 策略 ， 这 种 策略 会 预先 指定 一 个 字段 ， 在 发 送 数据 时 ， 每 次 都 会 将 字段 相 
同 的 数据 发 送 到 某 个 固定 的 数据 处 理 单元 中 。 这 种 方式 在 第 一 次 发 送 数据 的 时 候 会 向 集群 的 中 央 节 点 请 求 获 取 发 送 目标 的 位 置 ， 
之 后 由 于 这 个 位 置 固定 了 ， 因 此 不 会 再 请 求 。 所 以 对 性 能 影响 不 大 。 


第 20 行 开始 是 消息 收集 器 的 构造 函数 。 该 构造 函数 包含 两 个 参数 : 一 个 是 消息 收集 器 来 源 的 任务 名 称 ， 可 能 是 消息 源 名 
称 ， 也 可 能 是 消息 处 理 器 名 称 ; 第 二 个 参数 是 消息 发 送 策略 。 目 前 支持 的 3 种 策略 (全 局 发 送 、 随 机 发 送 、 分 组 发 送 ) 前 面 已 经 
阐述 过 ， 这 里 就 不 过 多 歼 述 了 。 


BOS TBEMItBAN, ZARAFA ERDE. ASSO PS RR  Sea A AIA RMR AIA TTAB SMR. 


第 24 行 是 SetCommander 函 数 ， 作 用 是 设置 一 个 命令 执行 器 。 命 令 执 行 器 的 作用 是 与 网 络 上 的 其 他 节点 进行 通信 。 这 里 我 
们 已 经 将 所 有 的 原始 数据 抽象 为 高 层 的 命令 ， 而 将 通信 层 的 复杂 细节 隐藏 在 底层 。 至 于 Commander 的 具体 实现 将 会 在 后 面 的 章 


节 中 介绍 。 


构造 函数 包含 一 个 参数 ， 该 参数 表示 数据 收集 器 的 数据 源 。 一 般 由 执行 器 构造 数据 收集 器 并 传递 给 任务 。 这 样 数 据 收集 器 就 
会 去 拓扑 结构 中 查询 网 络 结构 ， 并 根据 用 户 预 定义 的 分 发 策略 ， 将 数据 传输 到 正确 的 位 置 。 


第 34 行 用 于 设置 tasklndex。tasklndex 是 该 OutputCollector 每 次 发 送 元 组 数据 时 目的 地 的 任务 编号 。 我 们 知道 一 个 
Manager 会 管理 多 个 任务 ， 而 Commander 只 关联 到 了 某 个 Manager 节 点 ， 但 是 将 数据 分 发 给 哪个 任务 是 不 知道 的 ， 因 此 我 们 
需要 使 用 tasklndex 来 做 定位 。Manager 的 位 置 和 tasklndex 的 关系 就 像 主机 名 和 端口 号 ， 决 定 了 发 送 的 目标 任务 。 


第 39 行 用 于 设置 groupField。groupField 给 分 组 策略 使 用 。 分 组 策略 需要 根据 这 个 groupField 将 数据 发 送 到 某 个 固定 的 数 
据 处 理 单元 。groupField 是 字段 在 任务 定义 中 的 字段 编号 ， 这 个 字段 编号 结合 字段 列表 就 可 以 确定 是 哪 一 个 字段。 


第 44 行 是 GetGroupField 函 数 ， 也 就 是 获取 分 组 字段 编号 。 


第 49 行 是 RandomDestination 函 数 ， 这 是 一 个 纯 虚 函数 。 该 函数 在 随机 策略 中 实现 随机 选择 目的 消息 处 理 单元 的 功能 ， 如 
何 实现 交 给 数据 收集 器 的 子 类 来 决定 。 


提示 初级 虚 函 数 是 一 种 特殊 的 虚 函 数 ， 这 种 虚 函 数 不 包 含 实 现 ， 只 有 声明 。 包 含 纯 虚 函数 的 类 我 们 称 之 为 抽象 类 ， 这 种 类 
是 无 法 建立 对 象 实例 的 。 如 果 想 要 创建 对 象 实例 ， 我 们 必须 继承 这 个 类 ， 并 在 子 类 中 实现 这 个 纯 唐 函数 。 当 然 ， 子 类 也 可 以 选择 
不 实现 纯 虚 池 数 ， 但 如 果 不 实现 ， 那 么 子 类 也 会 是 一 个 抽象 类 ， 无 法 创建 对 象 实例 ， 直 到 有 一 个 子 类 实现 了 所 有 的 纯 虚 浮 数 为 
止 。 纯 虚 函 数 一 般 用 来 定义 接口 。 


第 50 行 是 GroupDestination 函 数 ， 用 来 根据 字段 选择 元 组 发 送 的 目标 消息 处 理 单元 。 
第 53~57 行 分 别 定义 了 需要 的 成 员 变 量 。 其 中 : 

1) _src 是 发 送 源 的 名 称 。 

2) _strategy 是 策略 编号 。 

3) _taskindex 是 目标 任务 编号 。 

4) _commander 是 命令 友 送 器 ， 默 认为 空 指针 。 


5) _groupField 用 在 分 组 策略 中 ， 指 定 了 分 组 使 用 的 字段 编号 。 


6.5 “元 组 接口 设计 


上 面 讲 了 数据 的 产生 者 、 数 据 的 处 理 者 以 及 数据 的 传递 者 。 那 么 在 拓扑 结构 中 ， 数 据 到 底 如 何 表示 呢 ? 在 拓扑 结构 中 ， 我 们 
使 用 元 组 的 形式 来 表示 数据 。 


所 谓 元 组 就 是 一 个 数据 的 有 序 集 合 ， 其 中 的 每 个 数据 都 可 以 是 任意 的 特定 类 型 ， 而 元 组 可 以 无 限 增长 。 这 种 形式 可 以 表示 任 


意 数 据 ， 比 如 一 个 元 组 本 身 就 是 一 个 数组 ， 而 两 个 元 组 配合 (一 个 元 组 表示 字段 ， 一 个 元 组 表示 数据 ) 可 以 用 来 形成 字典 。 因 此 
元 组 在 拓扑 结构 中 是 最 重要 的 数据 结构 。 


在 介绍 元 组 之 前 我 们 来 介绍 一 下 值 一 一 代表 任意 类 型 的 数据 ， 其 接口 大 致 如 代码 清单 6-5 所 示 。 


Value 的 接口 类 图 如 图 6-7 所 示 。 


Value 
(from base) 


+ Value(value) 
+Tolnt8(): int8 t 


+Tolntl6(): intl6 t 
+Tolnt32(): int32 t 
+Tolnt64(): into4 t 
+ToCharacter(): char 
+ToString(): string 





这 里 所 有 的 类 型 都 定义 在 hurricane: : base 名 称 空间 中 。 我 们 来 逐 行 解释 代码 。 


第 6 行 定义 了 一 个 异常 类 型 TypeMismatchException， 该 类 继承 自 std: : exception， 是 标准 的 异常 类 型 。 


第 9 行 是 构造 函数 ， 该 构造 函数 包含 一 个 message 参 数 ， 该 参数 是 异常 的 消息 ， 会 在 抛 出 异常 后 输出 到 控制 台 上 。 


第 13 行 我 们 重 载 了 what 函 数 ， 该 函数 是 exception 类 型 的 虚 国 数 ， 系 统 用 这 个 函数 获取 异常 的 文本 消息 。 我 们 将 构造 函数 
的 消息 直接 返回 。 注 意 这 里 使 用 了 noexcept 和 override。noexcept 表 示 该 函数 不 会 抛 出 异常 ， 这 样 有 利于 编译 器 进行 函数 调用 
优化 。override 表 示 该 函数 是 覆盖 了 一 个 父 类 的 虚 函 数 ， 如 果 不 是 覆盖 了 一 个 函数 就 会 报错 。 这 两 个 都 是 C+ +11 中 新 加 的 关键 


字 。 
显而易见 ， 所 谓 的 值 就 是 可 以 容纳 任意 类 型 数据 的 变量 ， 我 们 往往 通过 union 联 合体 结合 类 型 的 枚 举 量 来 存储 这 类 变量 。 
第 19 行 定义 了 唯一 的 成 员 变 量 ， 表 示 用 户 异 常 的 说 明文 字 。 
第 22 行 定义 了 Value 类 型 ， 该 类 型 表示 一 个 可 以 存储 任意 类 型 的 值 ， 我 们 详细 看 一 下 类 型 定义 。 
第 25 行 定义 了 一 个 名 为 Type 的 枚 举 类 。 


提示 “ 枚 举 类 是 C++11 中 新 加 入 的 特性 。 和 传统 的 枚 举 相 比 ， 枚 举 类 会 使 用 枚 举 类 类 型 名 称 来 做 命名 空间 约束 。 比 如 我 们 想 
要 引用 Type 中 名 为 Boolean 的 值 ， 需 要 使 用 Value: : Type: : Boolean， 而 不 能 用 Value: : Type. AA, RRA A Fe RBS 
间 进 行 任 何 类 型 转换 ， 这 样 可 以 确保 代码 更 加 规范 ， 不 会 像 C 中 的 枚 举 那 样 出 现 很 多 问题 。 

这 里 面 一 共 定 义 了 9 个 枚 举 值 ， 分 别 代表 以 下 9 种 类 型 。 


1) Boolean: 布尔 类 型 。 


~ 


2) Character: 字符 类 型 。 


— 


3) Int8: 8 位 有 符号 整数 。 


a 


4) Int16: 16 位 有 符号 整数 。 


a 


5) Int32: 32 位 有 符号 整数 。 


Duse 


6) Int64: 64 位 有 符号 整数 。 


Da 


7) Float: 单 精 度 浮 点 数 。 


— 


8) Double: 双 精 度 浮 点 数 。 


a 


9 


\ 一 


String: FE, 
第 38 行 我 们 定义 了 一 个 联合 体 InnerValue， 联 合体 内 包含 了 以 下 8 个 变量 。 


1) booleanValue: 表示 布尔 值 。 


— 


2) characterValue: 表示 字符 值 。 


— 


3) int8Value: 表示 8 位 有 符号 整数 值 。 


a 


4) intl6Value: 表示 16 位 有 符号 整数 值 。 


a 


5) int32Value: 表示 32 位 有 符号 整数 值 。 


\ 一 


6) int64Value: 表示 64 位 有 符 


7) floatValue: 表示 单 精度 浮 点 数 。 


号 整数 值 。 


8) doubleValue: 表示 双 精 度 浮 点 数 。 


联合 体 的 优点 在 于 所 有 的 值 共用 一 片 存储 空间 ， 因 此 不 会 引起 额外 的 空间 存储 消耗 。 


现在 我 们 来 看 一 下 第 137 行 开始 的 代码 。_ type 表示 该 Value 的 类 型 ， 
表示 一 个 字符 串 值 ， 当 然 只 有 当 type 的 值 为 Type: 
器 都 支持 将 一 个 复杂 的 非 POD 对 象 放 在 联合 体 中 ， 


现在 来 看 从 50 行 开始 的 代码 ， 这 


的 所 有 类 型 ， 


包括 布尔 类 型 、 


SEF 


字符 类 


_value 表 示 该 Value 对 象 的 实际 值 。 最 后 stringValue 


: String 时 该 值 才 是 有 效 的 。 我 们 将 其 分 离 出 来 的 原因 是 ， 并 不 是 所 有 编译 
这 样 更 有 利于 可 移植 性 。 


部 分 代码 雷同 之 处 非常 多 ， 其 实 就 是 从 一 个 普通 的 值 转换 成 Value， 这 里 我 们 支持 前 文 提 及 
型 、 各 种 长 度 的 有 符号 整数 、 单 精度 和 双 精 度 浮 点 数 以 及 字符 串 。 


从 99 行 开始 是 转换 函数 ， 可 以 将 Value 的 值 转换 成 实际 的 值 。 如 果 值 的 类 型 不 匹配 ， 则 直接 抛 出 TypeMismatchException 


as 


已 
F Po 


代码 清单 6-5 Values 定义 
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namespace hurricane 


namespace base 


{ 





class TypeMismatchException : std: :exception 


{ 


public: 
TypeMismatch 


const char* what () 


{ 
} 


private: 





_message (message) {} 


return message.c_str(); 


std::string message; 


}; 


class Value 


{ 


public: 


enum class Type 


{ 


}; 


Boolean, 
Character, 
Int8, 
Int16, 
Int32, 
Int64, 
Float, 
Double, 
String 


union InnerValue 


{ 


}; 


Value (bool value) : type (Type: 


{ 


bool booleanValue; 
char characterValue; 
int8 t int8Value; 
int16 t intl6Value; 
int32 t int32Value; 
int64 t int64Value; 
float floatValue; 
double doubleValue; 


Exception (const std: 


:string& message) : 


const noexcept override 


:Boolean) 
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_value.booleanValue = value; 


_value.characterValue = value 





_stringValue = val 


Value (const char* valu 


bool ToBoolean() const 





Value (const std::string& value) 


ue; 


Value (char value) : _type(Type::Character) 


了 


Value (int8 t value) : type (Type::Int8) 
_value.int8Value = value; 

Value (int16 t value) : _type(Type::Int16) 
_value.intl6Value = value; 

Value (int32 t value) : _type(Type::Int32) 
_value.int32Value = value; 

Value (int64 t value) : type (Type::Int64) 
_value.into4Value = value; 

Value (float value) : _type(Type::Float) 
_value.floatValue = value; 

Value (double value) : type (Type: :Double) 
_value.doubleValue = value; 


: _type (Type: :String) 


e) : Value(std::string (value) ) 


::Boolean ) 





if (type != Typ 
{ 


throw TypeMismatch 


} 


int8 t ToInt8() const 
{ 
if (type != Type 
{ 


throw TypeMismatch 


} 


return value.int8 


} 


int16 七 ToInt16 () cons 
{ 
if ( type != Type 
{ 


throw TypeMismatch 


} 


return value.intl 


} 


int32_t ToInt32() cons 
{ 
if ( type != Type 
{ 


throw TypeMismatchException ("The type of value is 


} 


return value.int3 





H TAES:) 





Value; 


t 


::Intl6 j 





6Value; 


t 


::Int32 ) 





2Value; 


Exception("The type of value is not 


boolean") ; 


Exception("The type of value is 


not int8"); 


Exception("The type of value is 


not int16"); 


not int32"); 


135 } 


137 int64 t ToInt64() const 

138 { 

139 if ( type != Type::Int64 ) 
140 { 
141 throw TypeMismatchException ("The type of value is 
not int64"); 





142 } 


144 return value.int64Value; 
145 } 


147 char ToCharacter() const 

148 { 

149 if ( type != Type::Character ) 

150 { 

151 throw TypeMismatchException ("The type of value is 
not character") ; 





152 } 


154 return value.characterValue; 
155 } 


157 const std::string& ToString() const 

158 { 

159 if ( type l= Type::String ) 

160 { 

161 throw TypeMismatchException ("The type of value is 
not string"); 





162 } 


164 return _stringValue; 
165 } 


167 private: 

168 Type _type; 

169 InnerValue _value; 

170 std::string _stringValue; 
171 }; 





该 类 型 的 接口 应 该 支持 任意 基础 类 型 和 值 类 型 之 间 的 转换 ， 因 此 这 方面 的 接口 略为 繁杂 。 而 元 组 就 是 一 个 由 值 组 成 的 有 序 序 
列 ， 其 定义 如 代码 清单 6-6 所 示 。 


代码 清单 6-6 元 组 接口 定义 


class Values : public std::vector<Value> 
{ 
public: 
Values() = default; 
Values (std: :initializer list<Value> values) : std::vector<Value> (values) 


Value& operator[] (size_t index) 


return std::vector<Value>: :operator[] (index); 


const Value& operator[] (size_t index) const 


return std::vector<Value>: :operator[] (index); 
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}; 


该 类 继承 自 Value 的 向 量 类 。 其 接口 和 向 量 类 也 很 相似 ， 有 一 个 默认 构造 遂 数 ， 一 个 初始 化 列表 构造 函数 ， 以 及 索引 操作 
符 。 其 使 用 方法 和 普通 向 量 一 模 一 样 。 其 接口 类 图 如 图 6-8 所 示 。 


Values 
(from base) 


+Values() 
+Values(values) 
«Values» +operator() 





图 6-8 Values 类 图 


提示 “这 里 我 们 使 用 了 初始 化 列表 这 种 技术 ， 这 种 技术 也 是 C++11 里 面 引 入 的 新 语法 。 这 种 语法 比较 好 的 地 方 在 于 可 以 使 用 
C++11 的 统一 初始 化 表达 式 来 初始 化 变量 。 比 如 我 们 的 Value 可 以 这 样 初 始 化 : 


我 们 可 以 像 使 用 脚本 语言 一 样 ， 用 语法 糖 定 义 变 量 ， 编 写 代 码 会 更 加 方便 。 


6.6 序列 化 接口 设计 
不 同 语言 以 及 编译 器 的 数据 内 存 布局 结构 很 有 可 能 不 一 样 ， 因 此 我 们 需要 设计 序列 化 接口 ， 以 支持 数据 在 不 同 的 平台 间 可 以 
传输 ， 而 且 其 格式 与 平台 无 关 。 


我 们 使 用 Writable 来 帮助 我 们 完成 序列 化 和 反 序 列 化 。 
Writable 的 基本 接口 如 代码 清单 6-7 所 示 。 


代码 清单 6-7 Writable 接 口 定义 


class Writable 





T 
2 { 
3 public: 
4 virtual int32_t Read(ByteArrayReader& reader, Variant& variant) = 0; 
5 virtual int32 七 Write (ByteArrayWriter& writer, const 

Varianté& variant) = 0; 





接口 类 图 如 图 6-9 所 示 。 


Writable 


(from base) 


<int32 t> +Read(reader, variant) 
<int32 t> +Writer(reader, variant) 





图 6-9 Writable# A 


Writble 负 责 使 用 Read 读 取 数 据 并 将 数据 存放 在 对 象 内 部 ， 或 者 使 用 Write 将 对 象 内 部 数据 输出 到 二 进 制 流 中 。 所 有 的 类 型 
都 需要 继承 并 实现 Writable 类 型 。 


最 后 ， 我 们 只 需要 将 Values 对 象 转换 成 一 个 个 的 Variant， 并 使 用 Writable 的 实例 来 逐个 序列 化 这 些 数据 对 象 即 可 。 


6.7 Aes 


本 章 介绍 了 Hurricane 实 时 处 理 系 统 中 与 用 户 密切 相关 的 一 些 接口 ， 并 前述 了 这 些 接 口 的 关系 ， 以 及 接口 中 成 员 函 数 的 作 
用 。 现 在 ,读者 应 该 已 经 对 Hurricane 实 时 处 理 系 统 的 架构 有 一 个 大 致 的 认识 ， 本 章 的 作用 就 是 为 之 后 的 编程 实战 打下 基础 。 


第 7/ 章 ”服务 组 件 设计 与 实现 


上 一 章 我 们 重点 讨论 了 分 布 式 计算 系统 的 整体 接口 ， 对 计算 系统 的 上 层 实现 有 了 大 致 的 了 解 ， 而 本 章 则 关注 如 何 实现 
Hurricane 中 的 服务 组 件 。 所 谓 服务 组 件 就 是 消息 源 、 消 息 处 理 器 ， 以 及 负责 执行 任务 的 执行 器 类 。 


7.1 ”Executor 设 计 与 实现 


我 们 首先 来 看 一 下 如 何 实现 执行 器 。 


执行 器 是 Manager 中 最 重要 的 组 成 部 分 。 每 一 个 Manager 都 包含 了 多 个 Executor， 这 些 Executor 可 以 执行 President 分 配 
的 特定 任务 ， 并 接收 从 其 他 的 Executor 传 递 过 来 的 各 种 数据 ， 在 特定 的 时 候 启动 并 执行 任务 处 理 数 据 。 


接 下 来 我 们 先 看 一 些 用 于 实现 Executor 的 必要 技术 。 


7.2 Task 设计 与 实现 


接着 就 是 如 何 实现 具体 的 Executor， 分 别 执行 消息 源 和 消息 处 理 器 。 
首先 来 看 SpoutExecutor 的 接口 ， 如 代码 清单 7-8 所 示 。 


代码 清单 7-8 ”SpoutExecutor 定 义 





class SpoutExecutor : public base::Executor<spout::ISpout> 
{ 
public: 
SpoutExecutor() : 
base: :Executor<spout::ISpout>(), _needToStop (false) 
{ 
} 











void StopTask() override; 
void OnCreate() override; 
void OnStop() override; 


private: 
topology: :ITopology* topology; 
bool _needToStop; 
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}; 


该 接口 类 图 如 图 7-6 所 示 。 


SpoutExecutor 
(from spout) 
ee 


+SpoutExecutor() 


+StopTask(): void 
+OnCreate(): void 
+OnStop(): void 





图 7-6 SpoutExecutor 类 图 


而 Bolt 的 接口 与 之 类 似 ， 我 们 可 以 看 到 ， 每 一 个 具体 的 Executor 只 需要 集成 EXxecutor 接 口 并 实现 相应 的 虚 函 数 即 可 。 


本 章 的 最 后 我 们 用 图 7-7 来 从 执行 任务 的 角度 看 一 下 Hurricane 的 整体 框架 。 


TopologyBuilder 


y 














| i 
O 
BoltOutputCollector SpoutOutputCollector 
E 
| | 


图 7-7 执行 关系 图 


7.3 ”本 章 小 结 


在 本 章 中 ， 我 们 主要 探讨 了 服务 组 件 的 设计 与 实现 方法 。 首 先 ， 我 们 了 解 了 Executor 的 设计 与 实现 ， 它 的 作用 是 进行 网 络 
之 间 端 对 端的 通信 ， 并 执行 某 一 类 特定 任务 。 接 着 我 们 探讨 了 服务 组 件 中 十 分 重要 的 一 环 : 动态 装载 技术 。 在 这 一 节 中 ， 我 们 不 
仅 了 解 了 在 Linux 平 台 上 如 何 实现 共享 库 的 加 载 ， 还 实现 了 在 Windows 上 DLL 的 动态 加 载 ， 这 样 Hurricane 服 务 可 以 在 运行 时 加 
载 我 们 指定 的 任务 而 不 用 重新 编译 或 启动 进程 。 接 着 我 们 又 探讨 了 二 进 制 接口 的 定义 。 最 后 ， 我 们 探讨 了 任务 的 设计 与 实现 。 其 
中 ， 我 们 主要 解释 了 SpoutExecutor 中 如 何 处 理 并 执行 Spout 任 务 ， 以 及 任务 与 Executor 之 间 的 交互 。 通 过 本 章 的 讲解 ， 读 者 应 
当 已 经 掌握 了 实时 处 理 系统 中 主要 服务 组 件 的 内 部 细节 。 


第 8 章 ”管理 服务 设计 与 实现 


8.1 President 功能 与 设计 


President 的 作用 与 Apache Storm 中 的 Nimbus 类 似 ， 负 责 对 整个 集群 进行 管理 ， 包 括 但 不 仅 限 于 以 下 功能 。 
1) 负责 集群 的 启动 与 调度 。 

2) 负责 监视 Manager 的 执行 情况 (正常 执行 或 者 宕 机 ) 。 

3) 负责 向 Manager 分 配 任务 。 

4) 负责 根据 集群 的 执行 情况 ， 决 定 消息 分 发 策略 的 执行 方式 。 


简 而 言 之 ，President 与 Manager 的 关系 如 图 8-1 所 示 。 








President 


询问 数据 传递 
心跳 报告 调度 调度 











Manager 
Executor 


Manager Manager 


Executor 


Executor 


图 8-1 节点 关系 图 


从 图 8-1 中 我 们 可 以 了 解 到 ，President 在 整个 集群 管理 服务 的 顶层 ， 它 承担 着 管理 整个 集群 的 工作 ， 与 President 直 接 进行 
交互 的 管理 节点 是 Manager。 需 要 注意 的 是 ， 我 们 在 这 里 设计 的 President 并 不 采用 主动 推送 获取 节点 状态 ， 而 是 通过 
Manager 主 动 将 其 状态 通知 President， 然 后 President 负 责 对 各 个 Manager 节 点 进行 调度 。 接 着 ，Manager 负 责 对 各 个 
Executor 进 行 管理 和 调度 。 从 图 8-1 中 可 以 看 出 ， 我 们 在 这 里 采用 了 与 其 他 分 布 式 实时 处 理 系统 类 似 的 分 册 管 理 架 构 设 计 。 有 关 
各 个 节点 和 层次 之 间 通 信 的 细节 ， 我 们 会 在 后 续 章 节 中 进行 详细 的 讲解 ， 并 辅 以 编程 实战 实现 这 些 底 层 通信 层 。 


在 这 里 ， 我 们 需要 首先 考虑 一 个 问题 : 既然 President 和 Manager 都 承担 着 大 量 节点 的 管理 任务 ， 那 么 对 于 服务 器 来 说 ， 如 
果 它 们 发 生 故 障 ， 我 们 该 怎么 处 理 呢 ? 事实 上 ， 我 们 需要 将 President 和 Manager 设 计 成 “快速 失败 ” (fail fast) 和 “无 状 
态 ” (stateless) 的 服务 器 管理 节点 。 我 们 有 许多 方法 让 节点 满足 这 些 特 性 ， 比 较 简单 的 方法 是 使 用 守护 进程 (daemon) 来 实 
现 ， 当 节点 由 于 某 些 原 因 宕 机 时 ， 守 护 进 程 会 在 很 短 时 间 内 将 这 些 节点 重新 启动 起 来 。 这 样 一 来 ， 我 们 的 这 个 问题 就 可 以 妥善 解 
决 了 。 


那么 ， 在 President 或 Manager 管 理 节点 宕 机 的 时 候 ， 工 作 节 点 是 否 还 能 继续 工作 呢 ? 我 们 在 Hurricane 实 时 处 理 系统 中 将 
这 种 情况 处 理 成 “仍然 继续 工作 ”。 因 此 ， 短 暂 的 管理 节点 无 效 状态 不 应 该 影响 到 工作 节点 的 运行 。 需 要 注意 的 是 ， 我 们 处 理 这 
种 情况 的 方式 与 传统 的 数据 批 处 理 系统 (比如 Hadoop) 不 同 : 它们 的 处 理 方法 是 停止 所 有 任务 。 


在 发 生 President 或 Manager 管 理 节点 宕 机 的 情况 下 ,我 们 的 工作 节点 可 以 继续 执行 之 前 分 配 的 任务 ， 但 是 在 宕 机 间隔 中 ， 
就 没有 管理 器 分 配 后 续 任 务 了 ， 这 种 情况 是 在 我 们 的 设计 情况 下 可 能 会 发 生 的 ， 属 于 已 知 的 情况 之 一 。 读 者 需要 注意 到 这 一 点 。 


第 8 草 ”省 理 服务 设计 与 实现 


8.1 President 功 能 与 设计 


President 的 作用 与 Apache Storm 中 的 Nimbus 类 似 ， 负 责 对 整个 集群 进行 管理 ， 包 括 但 不 仅 限 于 以 下 功能 。 
1) 负责 集群 的 启动 与 调度 。 

2) 负责 监视 Manager 的 执行 情况 (正常 执行 或 者 宕 机 ) 。 

3) 负责 向 Manager 分 配 任 务 。 

4) 负责 根据 集群 的 执行 情况 ， 决 定 消息 分 发 策略 的 执行 方式 。 


简 而 言 之 ，President 与 Manager 的 关系 如 图 8-1 所 示 。 










President 


询问 数据 传递 
心跳 报告 调度 调度 





Manager Manager Manager 












Executor 





Executor 





Executor 





Executor 





Executor Executor 





图 8-1 节点 关系 图 


从 图 8-1 中 我 们 可 以 了 解 到 ，President 在 整个 集群 管理 服务 的 顶层 ， 它 承担 着 管理 整个 集群 的 工作 ， 与 President 直 接 进行 
交互 的 管理 节点 是 Manager。 需 要 注意 的 是 ， 我 们 在 这 里 设计 的 President 并 不 采用 主动 推送 获取 节点 状态 ， 而 是 通过 
Manager 主 动 将 其 状态 通知 President， 然 后 President 负 责 对 各 个 Manager 节 点 进行 调度 。 接 着 ，Manager 负 责 对 各 个 


Executor 进 行 管理 和 调度 。 从 图 8-1 中 可 以 看 出 ， 我 们 在 这 里 采用 了 与 其 他 分 布 式 实时 处 理 系统 类 似 的 分 册 管 理 架构 设计 。 有 关 
各 个 节点 和 层次 之 间 通 信 的 细节 ， 我 们 会 在 后 续 章 节 中 进行 详细 的 讲解 ， 并 辅 以 编程 实战 实现 这 些 底层 通信 层 。 


在 这 里 ， 我 们 需要 首先 考虑 一 个 问题 : 既然 president 和 Manager 都 承担 着 大 量 节 点 的 管理 任务 ， 那 么 对 于 服务 器 来 说 ， 如 
果 它 们 发 生 故 障 ， 我 们 该 怎么 处 理 呢 ? 事实 上 ， 我 们 需要 将 President 和 Manager 设 计 成 “快速 失败 ” (fail fast) 和 “无 状 
态 ” (stateless) 的 服务 器 管理 节点 。 我 们 有 许多 方法 让 节点 满足 这 些 特性 ， 比 较 简单 的 方法 是 使 用 守护 进程 (daemon) 来 实 
现 ， 当 节点 由 于 某 些 原因 宕 机 时 ， 守 护 进程 会 在 很 短 时 间 内 将 这 些 节点 重新 启动 起 来 。 这 样 一 来 ， 我 们 的 这 个 问题 就 可 以 妥善 解 
RT. 


那么 ， 在 President 或 Manager 管 理 节点 宕 机 的 时 候 ， 工 作 节 点 是 否 还 能 继续 工作 呢 ? 我 们 在 Hurricane 实 时 处 理 系统 中 将 
这 种 情况 处 理 成 “仍然 继续 工作 ”。 因 此 ， 短 暂 的 管理 节点 无 效 状态 不 应 该 影响 到 工作 节点 的 运行 。 需 要 注意 的 是 ， 我 们 处 理 这 
种 情况 的 方式 与 传统 的 数据 批 处 理 系统 (比如 Hadoop) 不 同 : 它们 的 处 理 方法 是 停止 所 有 任务 。 


在 发 生 President 或 Manager 管 理 节点 宕 机 的 情况 下 ， 我 们 的 工作 节点 可 以 继续 执行 之 前 分 配 的 任务 ， 但 是 在 宕 机 间隔 中 ， 
就 没有 管理 器 分 配 后 续 任 务 了 ， 这 种 情况 是 在 我 们 的 设计 情况 下 可 能 会 发 生 的 ， 属 于 已 知 的 情况 之 一 。 读 者 需要 注意 到 这 一 点 。 


8.2 President 实现 


现在 我 们 来 看 一 下 President 的 实现 问题 。 这 需要 我 们 一 块 块 解释 和 President 相 关 的 代码 。 我 们 分 别 从 以 下 几 个 部 分 来 看 一 
下 President 的 实现 。 


1) 简单 的 网 络 通 信 实 现 : 为 了 保证 我 们 的 程序 可 以 运行 ， 在 实现 高 效 的 网 络 通 信 层 之 前 ， 我 们 需要 使 用 Socket 实 现 基本 的 
通信 层 ， 以 确保 节点 之 间 可 以 正常 通信 。 


2) Topology 装 载 实现 : 如 何 装载 用 户 部 署 的 Topology。 
3) Manager 管 理 调度 实现 : 如 何在 President 中 管理 调度 President。 
President 和 Manager 的 整体 架构 如 图 8-2 所 示 。 


其 中 Manager 和 President 都 包含 一 个 NetListener 类 负责 监听 网 络 请 求 ， 并 使 用 CommandDispatcher 对 象 来 帮助 分 发 任 
务 。Manager 和 President 各 包含 一 个 Commander， 用 于 向 其 他 节点 发 送 命令 ， 并 获得 反馈 ， 而 这 两 个 commander 正 是 基于 
NetConnector 实 现 的 。 











NetListener 









Manager President 














ManagerCommander NetConnector PresidentCommander 
-一 一 一 _ 








图 8-2 类 关系 图 


8.3 ”本 章 小 结 


本 章 我 们 介绍 了 管理 服务 的 相关 设计 与 实现 ， 包 括 President 的 内 部 设计 实现 ， 以 及 Manager 的 设计 实现 ， 并 介绍 了 如 何 实 
现 节 点 之 间 简 单 的 网 络 通信 ， 同 时 通过 心跳 信息 保证 集群 的 高 可 用 性 。 最 后 我 们 介绍 了 Hurricane 中 关键 的 序列 化 实现 。 


BIR ”实时 处 理 系统 编程 接口 实现 


前 面 两 章 我 们 讨论 了 管理 服务 和 任务 执行 器 的 通用 实现 ， 本 章 我 们 将 会 前 述 如 何 实现 具体 的 任务 执行 器 ， 并 如 何 实现 之 前 定 
义 的 实时 处 理 系 统 的 高 层 接口 。 最 后 会 以 WordCount (单词 统计 ) 作为 示例 。 


WordCount 是 非常 经 典 的 数据 统计 入 门 示 例 。 其 作用 正如 其 名 ， 就 是 统计 文本 中 所 有 单词 的 出 现 次 数 。 
来 看 一 下 用 户 应 该 如 何 具体 实现 我 们 提供 的 接口 ， 并 如 何 运用 我 们 提供 的 工具 。 

我 们 来 回顾 一 下 我 们 给 用 户 提供 的 一 些 接口 。 

1) ISpout: 消息 源 接口 ， 负 责 产 生 消 息 ， 是 所 有 数据 流 的 源头 。 

2) IBolt: 消息 处 理 单 元 ， 负 责 处 理 消息 ， 是 数据 处 理 逻 辑 的 封装 。 


3) TopologyBuilder: 拓扑 结构 构建 工具 ， 用 于 帮助 我 们 构建 拓扑 结构 ， 可 以 用 来 设置 消息 源 与 消息 处 理 单元 的 参数 以 及 
数据 发 送 的 网 络 结构 。 


4) OutputCollector: 数据 收集 器 ， 负 责 收集 数据 。 有 两 种 具体 实现 ， 分 别 是 BoltOuptutCollector 和 
SpoutOutputCollector， 分 别 帮助 消息 源 和 消息 处 理 单元 来 收集 数据 。 这 些 数据 收集 器 均 支 持 多 种 数据 发 送 策略 ， 目 前 支持 3 
种 策略 ,分别 是 全 局 发 送 策 略 、 随 机 发 送 策略 和 字段 分 组 发 送 策略 。 


5) Value: 可 以 存储 任意 类 型 的 数据 类 ， 是 元 组 中 最 基本 的 元 素 。 用 户 可 以 使 用 C++ 中 任意 的 基本 类 型 以 及 std: : string 


初始 化 该 类 型 。 


6) Values: Value 对 象 的 有 序 序列 ， 也 就 是 所 谓 的 元 组 ， 是 各 个 计算 节点 之 间 数 据 传输 的 基本 单位 。 用 户 可 以 使 用 统一 初 
始 化 列表 进行 初始 化 。 


7) Fields: 字段 列表 ， 其 实 就 是 字符 串 向 量 的 同名 定义 。 一 般 在 DelareFields 函 数 中 使 用 。 


上 面 就 是 我 们 提供 给 用 户 的 基础 接口 和 工具 。 接 下 来 我 们 将 会 阐述 这 些 任务 是 如 何 执行 的 ， 以 及 如 何 继承 实现 这 些 接口 。 


91 消息 源 接口 实现 


首先 需要 讨论 的 是 消息 源 的 接口 实现 。 我 们 都 知道 消息 源 是 拓扑 结构 中 数据 流 的 起 点 ， 也 是 数据 流 的 创造 者 。 因 此 消息 源 应 
该 是 一 个 自 驱 动 的 对 象 ， 也 就 是 会 不 断 地 自发 执行 。 


但 是 我 们 又 知道 ， 计 算 系 统 的 数据 肯定 会 来 自 于 其 他 系统 ， 会 通过 各 种 MO 途径 收集 数据 ， 因 此 消息 源 的 阻塞 来 自 于 MO 阻 
塞 ， 而 不 是 执行 器 自发 的 等 待 。 但 是 执行 器 也 需要 接收 来 自 外 部 的 事件 ， 以 在 特定 时 候 停止 任务 ， 因 此 其 实现 方式 和 消息 处 理 单 
元 稍 有 不 同 。 我 们 就 来 看 一 下 如 何在 执行 器 基 类 上 实现 具体 的 消息 源 。 

9.2 ”消息 处 理 单元 接口 实现 

讨论 完 消息 处 理 器 后 我 们 来 看 一 下 消息 处 理 单元 。 

消息 处 理 单元 和 消息 源 不 太一 样 ， 属 于 被 动 执行 的 任务 ， 因 此 消息 处 理 单元 需要 向 消息 队列 中 注册 自己 的 事件 ， 并 遵循 消息 
循环 的 标准 ， 基 于 消息 循环 的 事件 实现 消息 处 理 单元 的 执行 。 


9.3 ”数据 收集 器 实现 


现在 我 们 来 考虑 如 何 实现 数据 收集 器 。 数 据 收集 器 不 仪 关系 到 数据 的 发 送 ， 而 且 关 系 到 数据 的 发 送 策 略 。 


94 ”本 章 小 结 


本 章 我 们 总 结 了 实时 处 理 系统 的 编程 接口 ， 介 绍 了 消息 源 和 消息 处 理 单元 的 接口 。 


接着 我 们 实现 了 消息 源 执行 器 的 部 分 功能 ， 并 成 功 实现 了 使 用 消息 源 执行 器 执行 消息 源 。 接 着 实现 了 WordCount 中 的 消息 
源 ， 以 此 为 示例 演示 了 消息 源 接 口 的 使 用 方法 。 


然后 我 们 实现 了 消息 处 理 单元 执行 器 的 部 分 功能 ,整合 了 简单 的 消息 处 理 单元 ， 并 介绍 了 消息 处 理 单元 执行 器 如 何 利用 基于 
事件 处 理 的 通信 框架 来 接收 数据 并 处 理 数据 。 最 后 以 WordCount 中 的 消息 处 理 单元 为 例 ， 演 示 了 消息 处 理 单元 接口 的 使 用 方 
法 。 


最 后 我 们 介绍 了 如 何 实现 一 个 简单 的 数据 收集 器 ， 并 介绍 了 如 何 实现 随机 分 发 、 固 定 分 发 、 按 字段 分 发 3 种 主要 的 分 发 策 
略 。 最 后 介绍 了 简单 的 传输 层 实现 方案 ， 并 提出 了 基于 事件 的 通信 接口 ， 为 之 后 的 工作 打下 了 基础 。 


第 10 章 ”可 靠 消息 处 理 


在 构建 基于 网 络 的 系统 时 ， 我 们 常常 需要 考虑 到 网 络 中 断 或 者 数据 丢失 等 极端 情况 ， 以 提高 系统 的 稳定 性 。 但 是 想 做 到 这 一 
点 ， 往 往 需要 付出 极 大 的 努力 ， 而 分 布 式 系统 中 ， 则 需要 对 此 做 更 多 的 处 理 和 预防 。 


而 在 Hurricane 实 时 处 理 系统 中 ， 我 们 也 面临 这 个 问题 ， 如 何 确保 数据 不 丢失 ， 如 果 数 据 丢失 ， 那 么 我 们 应 该 如 何在 数据 丢 
失 时 进行 补救 呢 ” 计算 的 过 程 中 我 们 又 如 何 考 虑 哪些 数据 需要 重新 计算 ， 哪 些 不 需要 ? 


本 章 主要 讲解 Hurricane 实 时 处 理 系统 如 何 实现 可 靠 的 消息 处 理 。 


在 Hurricane 实 时 处 理 系统 中 ， 可 靠 的 消息 处 理 指 的 是 确保 所 有 元 组 都 可 以 处 理 ， 而 且 永 远 只 处 理 一 次 。 在 一 个 小 型 系统 
中 ， 想 要 确保 这 一 点 非常 简单 ， 但 是 如 果 是 在 一 个 大 型 的 复杂 的 分 布 式 系统 中 ， 就 需要 设计 一 个 良好 的 机 制 来 确保 这 种 特性 ， 
为 分 布 式 系统 中 数据 量 非 常 大 ， 如 果 要 跟踪 每 一 个 正在 处 理 的 数据 ， 其 消耗 将 是 非常 惊人 ， 而 且 得 不 偿 失 的 。 


从 本 章 开始 ， 我 们 正式 来 探讨 如 何以 高 效 的 方式 来 实现 这 种 框架 。 


10.1 基本 概念 


首先 我 们 需要 阐述 一 些 基本 概念 ， 解 释 清 楚 什 么 是 完全 处 理 ， 并 且 讲 解 一 下 失败 重 发 机 制 |。 


10.2 接口 设计 


上 一 节 阐 述 了 关于 完全 处 理 以 及 失败 重 发 的 基本 概念 ， 本 节 来 看 一 下 为 了 支持 失败 重 发 机 制 ， 我 们 要 对 消息 源 和 消息 处 理 单 
元 的 接口 做 出 哪些 修改 。 


首先 是 消息 源 !Spout 的 修改 如 代码 清单 10-2 所 示 。 


代码 清单 10-2 1Spout 接 口 设计 





class ISpout 
{ 
virtual ISpout* Clone(); 


1 

2 

3 

4 

5 void Open (OutputCollector& outputCollector) ; 
6 void Close(); 
7 

8 

9 

0 

al 





void Execute () ; 


void Ack(int msgId) ; 
void Fail(int msgId) ; 


ISpout 接 口 的 UML 类 图 如 图 10-2 所 示 。 


[Spout 
(from spout) 


+Clone() : [Spout* 
+Open (outputCollector : OutputCollector) : void 


+Close() : void 

+Execute (values : Values) : void 
+Ack (msgld:int) : void 

+Fail (msgld:fail) : void 





图 10-2 ISpout 类 图 


我 们 可 以 看 到 新 增 了 两 个 成 员 函 数 ， 一 个 是 Ack， 一 个 是 Fail， 这 两 个 函数 都 有 一 个 名 为 msgld 的 参数 。 整 个 机 制 是 ， 消 息 
源 Spout 每 产生 一 个 元 组 ， 都 会 生成 一 个 代表 数据 流 的 唯一 id， 然 后 携带 在 该 元 组 和 其 产生 的 所 有 元 组 中 ， 拥 有 相同 的 msgld 的 
元 组 属于 同一 个 数据 流 的 元 组 。 


如 果 某 个 msgld 的 元 组 全 部 处 理 完成 ， 那 么 就 会 使 用 该 msgld 调 用 Spout 的 Ack 方 法 ， 这 个 时 候 整 个 数据 流 处 理 完成 ， 因 此 
Spout 就 可 以 释放 与 该 数据 流 相关 的 所 有 资源 。 


同样 ， 如 果 有 任何 一 个 中 间 处 理 过 程 失 败 ， 都 会 使 用 该 msgld 调 用 Fail 方 法 。Spout 得 知 失败 消息 后 就 会 立即 释放 之 前 的 数 
据 流 并 重 发 数据 。 至 于 如 何 处 理 重 发 的 数据 ， 是 否 缓存 计算 结果 就 是 中 间 的 Bolt 自 己 的 行为 了 。 


此 外 ， 我 们 还 需要 修改 消息 源 数 据 收 集 器 的 接口 ， 在 Emit 成 员 函 数 中 添加 一 个 msgld 参 数 ， 所 以 现在 
SpoutOutputCollector 的 声明 如 代码 清单 10-3 所 示 。 


代码 清单 10-3 SpoutOutputCollector 定 义 




















1. #pragma once 

2 

3 #include "hurricane/base/OutputCollector.h" 

4 #include "hurricane/base/Values.h" 

5 namespace hurricane 

6 { 

7 class SpoutExecutor; 

8 

9 namespace spout 
10 
11 class SpoutOutputCollector : public base: :OutputCollector 
12 { 
13 public: 
14 SpoutOutputCollector (const std::string& src, int strategy, Spout 

Executor* executor) 

5 base: :OutputCollector(src, strategy), _executor (executor) 
16 { 

17 } 

8 

19 virtual void RandomDestination() override; 
20 virtual void GroupDestination() override; 
21 void Emit (const base::Values& values, int msgId); 
22 
23 private: 
24 SpoutExecutor* executor; 
25 }; 
26 } 
27 } 





SpoutOutputCollector 这 个 类 的 UML 类 图 如 图 10-3 所 示 。 


SpoutOutputCollector 


(from spout) 


executor : SpoutExecutor* 


+SpoutOutputCollector (sre : string,strategy : int,executor : SpoutExecutor*) 
+RandomDestination() : void 

+GroupDestination() : void 

+Emit (values: Values,msgld:int32_t) : void 





图 10-3 SpoutOutputCollector£ A 


在 修改 消息 源 接口 的 同时 ， 我 们 还 需要 修改 消息 处 理 单元 的 接口 ， 因 为 消息 处 理 单元 要 向 数据 流 报告 状态 。 具 体 的 方法 是 修 
改 消 息 处 理 单 元 的 数据 收集 器 的 接口 ， 在 接口 上 增加 两 个 成 员 函 数 ， 如 代码 清单 10-4 所 示 。 


代码 清单 10-4 BoltOutputCollector 定 义 





namespace bolt 





class Bolt 


{ 
public: 


Oooawm wm 


{ 
} 





口 oo aawm 必 wh 


NF + 


namespace hurricane 


Executor; 


class BoltOutputCollector : public base: :OutputCollector 





BoltOutputCollector (const std::string& src, int strategy, BoltEx 


ecutor* executor) 


base: :OutputCollector(src, strategy), _executor (executor) 





virtual void RandomDestination() override; 
virtual void GroupDestination() override; 


void Ack(const Values& values) ; 
void Fail(const Values& values); 


21 private: 

22 BoltExecutor* executor; 
23 he 

24 } 

25 } 








BoltOutputCollector 这 个 类 的 UML 类 图 如 图 10-4 所 示 。 
其 中 ，Ack 用 于 回复 某 个 元 组 处 理 成 功 ， 而 Fail 则 回复 某 个 元 组 处 理 失败 。 
那么 这 些 接口 该 如 何 使 用 呢 ? 我 们 以 WordCount 为 例 来 进行 演示 。 


首先 是 TextGenerateSpout 的 实现 ， 如 代码 清单 10-5 所 示 。 


Bolt]OutputCollector 
(from bolt) 


+ executor : BoltExecutor* 


+BoltOutputCollector (sre : string,strategy : int,executor : BoltExecutor*) 


+RandomDestination() : void 
+GroupDestination() : void 

+ack (values : Values) : void 
+fail (values : Values) : void 





图 10-4 BoltOutputCollector# 4 


代码 清单 10-5 TextGenerateSpout 实 现 








1 void Execute() overrid 

2 { 

3 int msgId = generateMsgId() ; 

4 _outputCollector->Emit ({ "The cBioPortal for Cancer Genomics provides v 

isualization, analysis, and download of large-scale cancer genomics 

data sets. The cBioPortal is free software: you can redistribute it 

and/or modify it under the terms of the GNU Affero General Public License, 

version 3, as published by the Free Software Foundation" }, msgId); 
std::this thread::sleep for(std::chrono::milliseconds (1000) ); 











oo 


} 





第 1 行 ， 我 们 定义 了 Execute 函 数 。 

第 3 行 ， 调 用 generateMsgld 函 数 ， 生 成 一 个 消息 jd， 这 个 消息 id 是 每 个 消息 源 元 组 唯一 的 。 
人 

接着 是 WordSplitBolt 的 实现 ， 如 代码 清单 10-6 所 示 。 


代码 清单 10-6 ”WordSplitBolt 实 现 





void Execute (const Values& values) override 





Cry 

{ 

std::string text = values[0].ToString(); 
std::list<std::string> words = split(text, ' '); 


for ( const std::string& word : words ) 


{ 


OMDANHDUOABWNHE 





_outputCollector->Emit ({ word, 1 }); 
} 


_outputCollector->Ack (values) ; 
} 
catch ( std::exception e ) 
{ 
std::cerr << e.what() << std::endl; 
_outputCollector->Fail (values) ; 


} 





CHIHDTRWNYES 


} 


第 5 行 ， 我 们 从 元 组 中 获取 第 1 个 元 素 ， 并 转换 成 字符 串 ， 这 就 是 需要 统计 的 原文 。 
第 6 行 ， 我 们 调用 split 函 数 将 文本 分 割 为 一 个 个 单词 ， 并 将 其 保存 为 单词 链表 。 


第 8 行 开始 ， 我 们 遍历 所 有 的 单词 ， 对 于 每 个 单词 ， 我 们 都 使 用 数据 收集 器 对 象 发 动 一 个 单词 ， 并 配 上 1 的 计数 。 接 着 我 们 
调用 数据 收集 器 的 Ack 函 数 来 确认 元 组 已 经 完成 处 理 。 


接着 ， 在 从 14 行 开始 的 有 异常 处 理 块 中 ， 我 们 首先 输出 异常 信息 。 然 后 在 数据 收集 器 上 调用 Fail， 报 告 元 组 处 理 失败 。 


我 们 可 以 看 到 只 不 过 是 在 数据 处 理 结 束 后 执行 一 下 Ack 或 者 Fail 而 已 ， 整 个 过 程 并 不 复杂 。 


10.3 ”具体 实现 


上 面 只 是 接口 层 ， 现 在 的 核心 问题 是 我 们 如 何 实 现 这 些 接口 。 实 现 方法 有 很 多 种 ， 我 们 在 此 讨论 一 种 低 效 但 是 简单 直观 的 方 
法 ， 同 时 讨论 一 种 稍 显 复杂 但 是 高 效 节约 资源 的 方法 。 


10.4 ”本 章 小 结 


本 章 我 们 介绍 了 可 靠 消息 处 理 的 概念 与 框架 ， 并 介绍 了 如 何 实现 一 个 可 靠 消息 处 理 框架 。 

首先 我 们 前 述 了 关于 完全 处 理 的 概念 ， 并 介绍 了 失败 重 发 的 机 制 。 接 着 我 们 探讨 了 可 靠 消息 处 理 需 要 对 原 有 接口 做 出 的 改 
动 。 

接 下 来 我 们 开始 讨论 具体 的 实现 方案 。 我 们 首先 介绍 了 通俗 但 是 低 效 的 实现 方案 ， 并 突出 了 其 中 的 递归 处 理 思想 。 最 后 我 们 
介绍 了 Storm 中 使 用 异 或 运算 的 高 效 实现 方案 ， 并 使 用 该 方案 重新 实现 了 可 靠 消息 处 理 框架 。 


第 11 草 ”通信 系统 设计 与 实现 


我 们 已 经 在 前 面 的 章节 中 介绍 了 Hurricane 实 时 处 理 系统 的 消息 源 、 消 息 处 理 单元 的 设计 与 实现 方法 ， 那 么 接 下 来 映 入 眼帘 
的 一 个 问题 就 是 ， 这 些 分 布 式 系统 节点 如 何 互相 进行 通信 ?作为 一 个 分 布 式 系统 ， 其 本 质 仍然 是 一 个 基于 网 络 构建 的 应 用 程序 


(集合 ) ， 因 此 仍然 需要 网 络 基础 框架 的 支持 才能 实现 消息 通信 功能 。 

对 于 正在 编写 的 Hurricane 实 时 处 理 系统 来 说 ， 我 们 可 能 会 在 实际 生产 环境 中 遇 到 如 下 情况 。 

1) 每 个 节点 (消息 源 、 消 息 处 理 单元 ) 会 同时 处 理 多 个 来 自 不 同 对 端的 连接 ， 在 本 章 中 ， 我 们 将 使 用 socket 来 处 理 这 些 连 
接 。 

2) 每 个 节点 可 能 会 同时 处 理 Socket 监 听 和 连接 。 比 如 消息 处 理 单 元 Bolt， 它 既 要 能 够 接收 对 端 发 送 过 来 的 数据 ， 还 要 能 
将 处 理 结束 的 数据 发 送 给 下 游 的 节点 ， 以 便于 后 续 节 点 执行 计算 任务 。 


3) 在 整个 分 布 式 系统 中 可 能 会 同时 处 理 TCP 和 UDP 请 求 。 在 前 面 的 章节 中 ， 我 们 曾 提 到 过 TCP 和 UDP 连接 的 异同 ， 为 了 实 
现 消息 的 可 靠 传输 ， 我 们 将 在 本 章 中 着 重 讲解 如 何 使 用 TCP 来 实现 可 靠 的 消息 传递 。 


4) 每 个 节点 会 同时 监听 多 个 端口 或 多 种 不 同类 型 的 服务 。 比 如 同时 处 理 业 务 数据 和 提供 审计 管理 数据 。 


在 本 章 中 ， 我 们 将 以 跨 平 台 的 MO 复 用 为 主题 进行 讲解 ， 并 进行 编程 实战 。 当 然 了 ， 但 凡 涉 及 跨 平台 ， 总 会 碰 到 这 样 那 样 的 
问题 ， 相 较 于 我 们 之 前 编写 的 高 层 应 用 层 代 码 ， 通 信和 层 更 加 底层 ， 而 且 会 涉及 系统 API 调 用 ， 因 此 我 们 会 在 讲解 完 一 些 基 本 概念 
后 ， 分 别 介绍 Windows MO Completion Port 和 Linux epoll， 并 辅 以 编程 实战 。 


11.1 I/O 多 路 复 用 方案 解析 


在 本 章 开头 曾 提 到 过 我 们 会 讲解 Linux epoll 并 辅 以 编程 实战 ， 那 么 在 讲解 epoll 之 前 ， 我 们 先 来 看 看 select 和 poll， 以 及 为 什 
么 会 在 后 来 衍生 出 epoll 这 项 技术 ， 为 什么 要 使 用 epoll。 虽 然 不 同 操作 系统 环境 下 实现 |/O 多 路 复 用 的 方法 不 尽 相同 ， 但 是 从 理 
论 上 大 致 都 有 类 似 的 发 展 路 线 ， 我 们 先 从 Linux 开 始 ， 然 后 逐步 讲解 Windows 和 UNIX 平 台 下 的 MO 多 路 复 用 技术 和 实现 方法 。 


11.2 基础 工具 


正 所 谓 ，“ 工 欲 善 其 事 ， 必 先 利 其 器 ”。 人 在 我 们 正式 开工 以 前 ， 还 需要 一 些 基础 工具 来 帮助 我 们 搭建 部 分 基础 组 件 。 这 些 基 
础 工具 包括 消息 队列 、 线 程 池 、 缓 冲 区 抽象 、 事 件 循环 和 日 志 工具 。 现 在 ， 我 们 针对 这 些 基 础 工具 分 别 进行 一 些 解释 和 分 析 。 


(1) 消息 队列 


消息 队列 是 事件 模型 的 基础 。 事 件 模型 的 核心 在 于 可 以 由 一 方 通知 另 一 方 有 事件 到 来 ， 因 此 比较 好 的 底层 抽象 就 是 消息 队 
列 。 这 样 事件 等 待 者 可 以 等 待 消息 队列 中 的 消息 并 处 理 ， 而 事件 触发 者 只 需要 向 消息 队列 中 放 入 消息 即 可 。 


此 外 ， 消 息 队列 在 生产 者 -消费 者 模式 这 种 计算 模型 中 非常 重要 ， 是 生产 者 和 消费 者 之 间 数 据 传 递 的 枢纽 。 
(2) 线程 池 


前 文 已 经 论述 过 ， 线 程 池 是 优化 系统 性 能 的 一 个 很 好 的 方式 。 通 过 不 断 复 用 已 经 创建 好 的 线程 ， 可 以 减少 系统 在 线程 创建 方 
面 的 开销 ， 尤 其 是 对 于 那些 需要 响应 用 户 请 求 ， 并 进行 高 速 实时 计算 的 系统 来 说 ， 这 一 点 尤为 重要 。 


(3) 缓冲 区 抽象 


RFRA, TEC+ + PUT ISGEL SHAPES BARR RAR. AARC + + POR EAT 
字符 数组 来 处 理 ， 因 此 我 们 可 以 直接 控制 二 进 制 数据 中 的 每 一 字 节 。 但 同时 由 于 C++ 没有 为 数组 提供 更 多 的 接口 支持 ， 因 此 操 
纵 数 组 变 成 了 一 件 非常 麻烦 而 危险 的 事情 。 同 时 系统 中 的 大 端 小 端 问题 也 会 令 系统 开发 者 头疼 。 


因此 我 们 需要 一 个 缓冲 区 抽象 ， 一 是 帮助 我 们 解决 二 进 制 操作 中 某 些 不 便 和 不 安全 的 问题 ， 二 是 支持 大 小 端 转换 ， 以 适应 网 
络 请 求 中 数据 的 传输 标准 ， 即 在 网 络 中 所 有 数据 都 使 用 大 端 传递 。 


(4) 事件 循环 

在 事件 模型 中 ， 系 统 的 所 有 交互 都 会 变 成 这 么 一 个 流程 。 
1) A 等 待 一 个 事件 。 

2) B 触 发 事件 。 

3) A 执 行事 件 处 理 函 数 。 


但 如 果 自 己 去 写 一 个 循环 来 处 理 这 些 事件 是 非常 笨拙 的 。 如 果 有 一 个 合适 的 封装 ， 将 会 极 大 提高 我 们 的 开发 效率 ， 并 增强 代 
码 可 读 性 。 因 此 ， 我 们 需要 事件 循环 的 封装 。 


(5) 日 志 工具 


所 有 系统 都 需要 使 用 日 志 ， 通 过 程序 的 日 志 输 出 ， 查 看 系统 的 运行 状况 ， 在 错误 时 可 以 根据 系统 日 志 来 排查 错误 。 而 
C++ 中 并 没有 日 志 支 持 ， 因 此 我 们 希望 加 入 一 个 日 志 工 具 ， 同 时 又 采用 异步 模型 ， 确 保 日 志 处 理 尽 量 不 要 影响 系统 性 能 。 
11.3 ”传输 层 实 现 

在 我 们 构建 的 基础 工具 之 上 ， 结 合 之 前 学 习 的 知识 ,我们 可 以 开始 构建 TP 传输 层 了 。 首 先 ， 我 们 以 之 前 介绍 过 的 epoll 为 
例 ， 介 绍 异步 TP 传输 层 的 实现 方法 。 

11.4 ”应 用 层 HTTP 实 现 

现在 我 们 需要 在 跨 平台 的 传输 层 基 础 上 实现 应 用 层 协 议 。 这 里 我 们 使 用 HTTP 协 议 为 例 ， 讲 解 如 何在 传输 层 的 基础 上 实现 自 
己 的 应 用 层 协 议 。 

11.5 ” 跨 平 台 分 割 编译 


由 于 我 们 使 用 C++ 来 编写 Hurricane 实 时 处 理 系 统 ， 因 此 除了 在 代码 级 别 上 要 兼顾 各 个 系统 ， 保 证 兼容 以 外 ， 我 们 还 需要 为 
不 同 平台 设计 不 同 的 构建 方案 。 


目前 有 许多 通用 的 跨 平台 构建 方案 ， 如 CMake， 会 根据 用 户 配置 生成 对 应 平台 的 Makefile 或 者 项 目 文件 。 但 是 为 了 简单 起 
见 ， 我 们 现在 还 是 在 不 同 平台 下 使 用 对 应 的 构建 手段 ， 确 保 部 署 的 便捷 性 。 同 时 我 们 也 会 在 编译 时 设 定 一 些 宏 ， 这 样 在 编译 时 可 
以 通过 预 处 理 指令 限制 编译 该 平台 对 应 的 代码 。 


11.6 ”与 实时 处 理 系统 集成 


之 前 我 们 编写 Hurricane 实 时 处 理 系统 时 一 直 使 用 的 是 通过 普通 的 Socket 实 现 的 传输 层 。 本 节 我 们 来 看 一 下 如 何 修改 
Hurricane 实 时 处 理 系 统 的 传输 层 ， 以 集成 Hurricane 和 Meshy。 


11.7 本 章 小 结 


本 章 我 们 讨论 了 通信 系统 的 设计 与 实现 。 


首先 介绍 了 IlMO 多 路 复 用 方案 ， 介 绍 基本 的 网 络 编程 接口 ， 并 讨论 了 与 之 相对 的 非 阻塞 的 服务 器 程序 。 介 绍 了 使 用 select 和 
epoll 的 两 种 实现 方式 。 


其 次 介绍 了 传输 层 的 基础 工具 的 实现 ， 包 括 线程 工具 和 日 志 工具 。 其 中 线程 工具 包括 消息 队列 和 线程 池 。 


接着 探讨 了 传输 层 的 实现 。 我 们 先 定义 了 抽象 的 TP 传输 层 ， 然 后 在 Linux 中 实现 了 基于 epoll 的 传输 层 ， 并 在 Windows 中 实 
现 了 基于 IOCP 的 传输 层 。 


我 们 还 探讨 如 何 进行 跨 平 台 分 割 编译 ， 并 展示 了 Makefile。 并 在 最 后 3| 入 了 Kake 编 译 系统 ， 详 细 解 读 了 Kake 编 译 系统 的 背 
后 设计 哲学 与 实战 方法 。Kake 编 译 系统 为 我 们 提供 了 一 个 全 新 的 C++ 编译 工具 的 选择 ， 它 能 够 帮助 C+ + 开发 人 员 简化 编写 
Makefile 所 需 的 工作 量 ， 改 善 依赖 项 顺序 等 各 个 方面 的 编写 和 调试 流程 。 


第 12 章 ”事务 性 Topology 实 现 


上 一 章 我 们 讨论 了 消息 的 可 靠 处 理 ，Hurricane 实 时 处 理 系 统 通过 特定 的 机 制 保证 消息 源 发 出 的 消息 一 定 会 被 处 理 。 但 仅仅 
如 此 还 不 够 ， 虽 然 上 一 章 中 我 们 讨论 了 如 何 确保 消息 的 处 理 ， 但 并 没有 解决 一 个 更 重要 的 问题 一 一 如 何 确 保 一 个 数据 会 被 处 理 
而 且 仪 被 处 理 一 次 。 





本 章 我 们 将 会 介绍 事务 性 Topology 的 概念 以 及 实现 方式 ， 这 种 Topology 可 以 确保 每 个 消息 会 被 处 理 而 且 仅 被 处 理 一 次 ， 提 
供 一 种 Exact-once 的 语义 ， 确 保 数 据 处 理 结果 更 加 准确 ， 提 高 系统 的 可 伸缩 性 和 容错 性 。 


不 过 需要 注意 的 是 ， 事 务 性 Topology 属 于 一 种 Topology 的 高 层 抽象 ， 也 就 是 说 事务 性 是 在 Hurricane 组 件 的 基础 上 构建 
的 ， 而 不 是 系统 本 身 的 特性 。 


12.1 Exact-once 语 义 解 决 方案 


让 我 们 来 讨论 一 下 几 种 能 够 实现 Exact-once 语 义 的 解决 方案 。 
1 方案 1 


事务 性 Topology 的 核心 思想 是 确保 数据 处 理 严 格 按照 顺序 完成 。 因 此 ， 最 简单 的 实现 方式 就 是 Topology 每 次 只 处 理 一 个 元 
组 ， 直 到 该 元 组 处 理 完 成 后 ， 才 会 开始 处 理 下 一 个 元 组 。 


每 个 元 组 都 会 和 一 个 事务 id 关联 。 如 果 元 组 处 理 失败 ， 需 要 数据 源 重 新 发 送 并 重新 处 理 ， 那 么 消息 源 发 送 的 元 组 会 携带 和 之 
前 相同 的 事务 id。 每 个 事务 id 是 一 个 整数 ， 每 发 出 一 个 元 组 ， 该 数字 就 会 增加 1。 因 此 ， 显 而 易 见 的 是 ， 如 果 第 1 个 元 组 的 事务 id 
是 1， 那 么 第 2 个 元 组 的 事务 id 就 是 2。 


如 果 我 们 能 够 确保 严格 按照 元 组 顺序 处 理 元 组 ， 那 么 利用 元 组 的 重 发 实现 处 理 并 仅 处 理 一 次 元 组 并 不 困难 。 其 核心 的 问题 在 
于 如 何 生成 一 个 递增 且 唯 一 的 元 组 事务 id。 


一 种 显而易见 的 解决 方案 是 存储 一 个 全 局 唯一 的 jd。 我们 会 在 数据 库 中 同时 保存 两 个 数据 ， 一 个 是 当前 元 组 的 数量 ， 一 个 是 
最 后 一 个 的 事务 jd。 元 组 数量 和 事务 id 更 新 规则 如 下 。 


如 果 最 后 一 个 事务 id 和 当前 处 理 的 元 组 的 事务 id 不 相同 ， 说 明 当 前 的 事务 是 正在 处 理 的 新 事务 ， 而 之 前 的 事务 已 经 处 理 完 
成 ， 因 此 我 们 可 以 直接 将 已 处 理 完 成 的 数量 加 1， 并 更 新 事务 id。 


如 果 最 后 一 个 事务 id 和 当前 处 理 元 组 的 事务 id 相同 ， 说 明 当 前 事务 已 经 处 理 过 ， 因 此 就 不 需要 更 新 数据 。 


如 果 使 用 这 种 策略 ， 我 们 可 以 严格 确保 元 组 会 按 顺序 处 理 完 成 ， 而 且 即 使 该 元 组 被 多 次 重播 ， 消 息 处 理 单元 也 不 会 多 次 处 理 


同一 个 元 组 。 


虽然 这 种 方案 简单 易 懂 ， 但 是 也 有 一 个 很 大 的 缺点 ， 这 会 导致 Topology 同 时 只 能 处 理 一 个 元 组 ， 会 造成 极 大 的 性 能 问题 ， 
因此 在 实际 的 工程 实现 中 是 不 可 取 的 。 


2. 方 案 2 


方案 1 的 思想 很 好 ， 但 是 会 极 大 降低 计算 集群 的 性 能 。 因 此 我 们 借鉴 一 下 传统 的 优化 思想 ， 在 方案 1 的 基础 上 设计 出 更 好 的 
方案 ， 这 就 是 我 们 将 要 讨论 的 方案 2。 


我 们 可 以 看 出 ， 如 果 想 要 严格 确保 元 组 的 处 理 顺 序 ， 必 须 同时 只 能 处 理 一 个 元 组 。 既 然 如 此 ， 那 我 们 只 需要 提高 同时 处 理 的 
数据 粒度 就 行 了 ， 如 将 元 组 分 组 。 


我 们 可 以 将 元 组 进行 分 组 ， 每 n 个 元 组 一 组 ， 每 一 组 元 组 的 事务 id 均 相同 。Topology 同 时 只 能 处 理 一 组 元 组 。 其 他 的 处 理 均 
和 方案 1 相同 。 这 样 我 们 只 需要 调节 n 的 大 小 就 可 以 改善 Topology 的 性 能 。 不 过 这 种 方案 有 一 个 缺点 ， 就 是 如 果 每 个 组 的 大 小 过 
大 ， 那 么 会 导致 一 旦 出 错 之 后 重新 处 理 的 代价 过 高 。 


3. 方 案 3 


因此 ， 我 们 来 考虑 一 下 方案 3。 


方案 2 的 性 能 在 一 般 情 况 下 应 该 已 经 足够 ， 但 为 了 追求 更 好 的 性 能 ， 我 们 还 需要 一 个 更 好 的 方案 。 我 们 发 现 方案 1 和 方案 2 的 
核心 问题 在 于 串 行 处 理 一 一 整个 Topology 一 次 性 只 能 处 理 一 个 事务 id 的 元 组 。 


那么 我 们 回归 最 淳朴 的 思想 ， 是 不 是 可 以 适当 提高 Topology 的 并 行 度 呢 ? 


我 们 可 以 发 现 ， 整 个 Topology 运 行 其 实 分 为 两 个 阶段 ， 一 个 是 计算 阶段 ， 一 个 是 更 新 阶段 。 计 算 阶段 是 根据 数据 计算 出 中 
间 结 果 ， 而 更 新 阶段 则 是 计算 出 最 终结 果 将 数据 写 入 到 数据 库 中 。 而 且 许 多 中 间 结 果 的 计算 其 实 是 互相 毫 无 依赖 性 的 ， 都 可 以 独 


立 计算 。 


因此 方案 3 是 将 任务 分 成 两 部 分 ， 一 部 分 是 可 并 行 的 计算 部 分 ， 另 一 部 分 则 是 一 定 要 严格 按照 顺序 进行 的 数据 库 读 写 部 分 。 
这 样 一 来 我 们 就 可 以 更 多 地 处 理 元 组 ， 尽 量 提升 系统 性 能 。 


12.2 设计 细节 


前 一 节 中 讨论 了 Topology 事 务 的 概念 以 及 基本 的 设计 思想 ， 本 节 开 始 讨论 其 设计 细节 。 
首先 ， 事 务 性 Topology 必 须 确保 以 下 功能 。 


1) 管理 状态 : 将 执行 事务 性 Topology 所 需 的 状态 信息 保存 在 外 部 数据 库 中 。 这 些 状态 信息 包括 事务 id 和 定义 每 个 数据 处 理 
批 次 的 元 数据 。 


2) 协调 事务 : Hurricane 必 须 管理 必要 数据 ， 以 决定 在 什么 时 候 处 理 或 者 提交 某 个 事务 ， 如 何 协调 事务 的 执行 。 


3) 错误 检测 : 必须 使 用 Hurricane 的 确认 和 报错 框架 (上 一 章 中 具体 讨论 ) ， 确 认 某 个 元 组 是 否 已 经 成 功 完成 处 理 ， 是 否 
已 经 成 功 提交 ， 还 是 失败 。Hurricane 会 自动 在 合适 的 时 候 重 发 数据 ， 用 户 不 需要 自己 确认 处 理 成 功 或 者 跟踪 相关 信息 。 


4) 通用 API: 批 处 理 消息 源 和 批 处 理 消息 处 理 单元 必须 保证 和 普通 的 消息 源 或 消息 处 理 单元 接口 相同 。 而 如 何 协调 事务 执 
行 ， 如 何 确认 消息 处 理 单元 已 经 接收 到 所 有 元 组 ， 如 何 决定 何 时 清理 系统 资源 则 交 给 Hurricane 自 动 进行 ， 用 户 只 需要 关心 业务 
即 可 。 

12.3 ”事务 性 Topology API 

前 文 我 们 阐述 了 事务 的 概念 ， 并 以 消息 处 理 单 元 为 例 描述 了 事务 性 Topology 的 具体 实现 方法 。 本 节 我 们 将 介绍 面向 用 户 的 
事务 性 Toplogy API 接 口 ， 一 方面 总 结 概念 ， 另 一 方面 阐述 部 分 注意 事项 。 指 导 用 户 使 用 事务 性 Topology API. 
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我 们 在 本 章 介绍 了 事务 性 Topology 的 设计 与 实现 方案 。 


首先 介绍 了 事务 性 的 几 个 概念 与 方案 ， 分 别 如 下 。 
1) 严格 按 顺 序 串 行 处 理 方案 : 这 种 方案 最 简单 但 是 效率 低下 ， 无 法 发 挥 出 集群 的 计算 能 力 。 


2) 分 组 处 理 方案 : 这 种 方法 可 以 最 大 化 地 提升 系统 的 吞吐 量 ， 虽 然 会 对 某 些 特定 元 组 处 理 的 实时 性 下 降 ， 但 是 其 损失 在 可 
接受 范围 之 内 。 


3) 阶段 划分 方案 : 根据 消息 处 理 单元 的 不 同 特性 划分 处 理 阶 段 ， 在 分 组 方案 的 前 提 下 进一步 提升 系统 的 实时 性 与 吞吐 量 。 
部 分 解决 纯粹 的 分 组 处 理 方案 中 实时 性 降低 的 问题 。 


接着 我 们 介绍 了 事务 性 Topology 中 实现 的 相关 细节 。 解 释 了 如 何 构建 一 个 支持 事务 的 Topology。 包 括 如 何 构建 事务 性 
Topology 中 的 消息 处 理 单 元 ， 需 要 在 传递 的 元 组 中 写 入 哪些 额外 的 信息 。 


同时 介绍 了 如 何 实现 事务 性 的 消息 源 ， 与 消息 处 理 单元 组 合 构成 一 个 完整 的 事务 性 Topology。 


最 后 从 用 户 的 角度 来 介绍 了 事务 性 Topology 的 AP1， 便 于 用 户 掌 握 事务 性 Topology， 然 后 我 们 实现 了 相应 的 代码 逻辑 。 


本 章 我 们 将 介绍 多 语言 接口 。 


虽然 我 们 使 用 C++ 编 程 语言 实现 了 Hurricane 实 时 处 理 系统 ， 但 是 我 们 必须 清楚 ， 并 不 是 所 有 的 开发 人 员 都 会 在 开发 中 选择 
C++。 尤 其 是 现在 分 布 式 计算 广泛 运用 于 科学 计算 领域 ， 而 在 科学 计算 领域 中 广 为 使 用 的 语言 是 Python 这 类 脚本 语言 。 这 些 语 
言 开发 效率 高 、 易 上 手 、 不 易 出 错 ， 而 且 有 丰富 的 第 三 方 库 ， 因 此 颇 受 非 计算 机 专业 科研 与 技术 人 员 的 青睐 。 


因此 为 了 让 Hurricane 能 够 得 到 更 为 广泛 的 运用 ， 我 们 必须 在 其 他 语言 中 实现 Hurricane 的 接口 。 而 本 章 选 择 的 几 种 语言 分 
别 为 Python、Javascript、Java 以 及 Swift。 其 中 Python 与 java 分别 在 科学 计算 领域 与 分 布 式 计算 领域 各 领 风骚 ， 我 们 必须 予以 
支持 。 而 Javascript 由 于 Node.js 的 出 现 ， 最 近 在 服务 器 后 端 也 越 来 越 普 及 ， 而 且 单 线程 ， 计 算 能 力 弱 的 劣势 恰恰 可 以 借助 
Hurricane 来 弥补 ， 因 此 我 们 也 考虑 在 JavaScript 上 实现 。 最 后 我 们 还 会 实现 Swift 一 一 Apple 公 司 推出 的 新 语言 ， 这 是 一 种 支持 
编译 的 脚本 语言 ， 具 有 许多 现代 化 的 特性 ， 注 定 成 为 Apple 未 来 的 主要 开发 语言 ， 因 此 我 们 也 考虑 予以 支持 。 


13.1 “语言 通用 接口 


首先 ， 我 们 需要 来 实现 一 下 C 语 言 的 接口 。 


这 里 大 家 会 有 疑问 ， 我 们 为 何 要 大 费 周章 ， 在 C++ 上 封装 C 语 言 的 接口 呢 ? 这 里 其 实 有 两 个 层面 的 考量 : 一 是 目前 还 有 许多 
人 在 用 C 语 言 ， 而 不 愿意 用 C++ (到 怕 这 是 大 多 数 ) ， 因 此 在 应 用 层面 上 支持 C 语 言 也 是 需要 考虑 的 ， 另 一 方面 ， 在 与 其 他 语言 
进行 集成 的 时 候 ， 这 些 语言 往往 会 对 C 语 言 进行 比较 充分 完善 的 支持 ， 但 对 于 C++ 的 支持 则 相对 注 弱 。 为 了 能 够 让 Hurricane 迁 
移 到 更 多 的 平台 和 语言 中 ， 提 供 一 个 C 语 言 的 接口 作为 Hurricane 和 其 他 语言 的 胶合 剂 ， 是 非常 必要 的 。 


首先 我 们 来 看 一 下 公用 头 文件 的 代码 ， 如 代码 清单 13-1 所 示 。 


代码 清单 13-1 Common. has 












































1 #pragma once 

2 

3 typedef void* HCHandle; 

4 

5 ifdef cplusplus 

6 define BEGIN C DECALRE extern "C" { 

7 define END C DECLARE 

8 else 

9 define BEGIN C DECALRE 
10 define END C DECLARE 
T endif 





这 个 头 文件 是 一 个 公共 头 文件 ， 所 有 的 5 接口 代 码 都 会 包含 这 个 文件 。 该 文件 主要 定义 了 以 下 两 个 重要 的 元 素 。 


1) HCHandle: 资源 句柄 。 由 于 C 无 法 直接 调用 C++ 的 成 员 函 数 ， 也 不 支持 C++ 中 的 类 ， 因 此 我 们 将 在 C++ 中 构造 的 对 象 
传递 到 C 接 口 层 时 需要 将 所 有 指针 都 转换 成 一 个 通用 的 指针 一 一 void*， 然 后 在 使 用 时 ， 由 C 接 口 层 传递 回 C++ 层 ， 并 进行 类 型 
转换 转换 回 原 有 类 型 。 为 了 让 这 种 数据 类 型 更 为 形象 ， 就 定义 了 一 个 名 为 HCHandle 的 类 型 ， 并 使 用 该 类 型 来 存储 所 有 C++ 类 型 
的 指针 。 


2) BEGIN_C DECLARE/END_C_ DECLARE: 这 是 一 对 非常 重要 的 宏 。 我 们 都 知道 ，C 和 C++ 中 符号 修饰 规则 不 一 样 ，C 中 
只 会 使 用 函数 名 作为 符号 修饰 的 唯一 元 素 ， 而 C++ 中 则 会 加 上 命名 空间 、 类 名 以 及 参数 类 型 (为 了 支持 命名 隔离 和 函数 重 
载 ) 。 因 此 C++ 编译 的 二 进 制 文件 并 不 能 直接 为 C 所 用 。 


为 了 解决 这 个 问题 ， 我 们 采用 extern"C" 来 特意 标 出 那些 需要 采用 C 语 言 形式 导出 的 符号 。 但 问题 是 ， 这 个 语句 在 C 中 是 不 支 
持 的 ， 所 以 我 们 往往 要 这 样 将 需要 导出 的 C 语 言 符号 包围 起 来 : 
#ifdef cplusplus 
extern "C" { 
#endif 
// 将 函数 声明 放 在 这 里 
#ifdef cplusplus 


} 
#fendif 
这 种 方式 明显 繁琐 而 且 可 读 性 差 。 为 了 解决 这 个 问题 ， 我 们 定义 了 两 个 宏 ， 一 个 是 BEGIN_C_DECLARE， 另 一 个 是 


END_C_DECLARE。 在 C++ 环 境 下 ， 这 两 个 宏 分 别 相当 于 extern"C"{ 和 和 }， 在 C 环 境 下 ， 则 都 是 空 字符 串 ， 因 此 在 C/C++ 中 可 以 
做 到 很 好 的 可 移植 性 。 


13.2 ”Python 接口 


现在 我 们 开始 在 C 语 言 接口 的 基础 上 构建 Python 接口 。 


Python 与 C 交 互 需 要 使 用 ctypes 库 ， 首 先 我 们 来 介绍 一 下 ctypes 库 和 基本 使 用 方法 。 


13.3 Javascript 接口 


JavasScript 是 当今 十 分 流行 的 脚本 编程 语言 。 其 应 用 场景 从 原来 的 Web 开 发 逐渐 扩展 到 了 其 他 领域 ， 如 后 台 服 务 器 程序 开发 
以 及 移动 应 用 开发 等 。 另 一 方面 ， 由 于 JavaScript 自 身 单线 程 执行 的 特性 ， 因 此 长 时 间 运 算是 JavaScript 应 用 场景 中 最 大 的 问 
题 ， 如 果 可 以 将 JavaScript 和 Hurricane 对 接 ， 将 能 极 大 扩展 JavaScript 的 应 用 场景 。 因 此 我 们 有 必要 探讨 一 下 如 何 实现 
JavaScript 与 Hurricane 实 时 处 理 系统 的 互 操作 。 在 本 节 当 中 我 们 将 详细 了 解 和 编写 与 Hurricane 进 行 通信 的 JavaScript 代 码 。 


在 了 解 了 Python 接 口 的 编写 方法 之 后 ， 我 们 再 来 考虑 JavaScript 中 的 实现 。 我 们 使 用 Node.js 作 为 JavaScript 执 行 环境 ， 并 
使 用 V8 的 接口 来 实现 C++ 和 JavaScript 的 互 操作 。 现 在 我 们 先 来 了 解 一 下 V8 和 Node.js 的 概念 。 


13.4 ” Java 接口 


虽然 我 们 使 用 C++ 编写 了 Hurricane， 而 且 也 实现 了 Python 和 Javascript 这 两 种 广 为 使 用 的 语言 的 接口 ， 但 是 目前 无 法 置 否 
的 一 个 事实 是 ， 在 分 布 式 计算 领域 ， 龙 头 老大 依然 是 Java。 因 此 ， 我 们 必须 要 为 Java 提 供 Hurricane 的 开发 接口 。 


使 用 Java 与 C/C++ 对 接 的 方式 是 通过 Java Native Interface， 也 就 是 所 谓 的 JNI。 从 Java 1.1 开 始 ，JNI 标 准 成 为 Java 平 台 的 
一 部 分 ， 它 允许 Java 代 码 和 其 他 语言 编写 的 代码 进行 交互 。 


JNI 也 定义 了 一 系列 和 (C 标 准 类 型 相对 应 的 类 型 ， 这 些 类 型 如 表 13-2 所 示 。 


表 13-2 Java 和 C 类 型 对 应 关系 


TED a 
boolean jboolean unsigned char 无 符号 ，8 位 
byte jbyte signed char 有 符 

char jchar unsigned short 无 符 

short jshort short Af 

long 有 符号 ， 


__int64 


int jint 


long jlong 





float jfloat 
double jdouble 


float 32 位 
double 64 位 


Z 

> 
hiny 
ERY 
人 
CN 
A 
= 


void void 


现在 就 让 我 们 来 编写 代码 吧 。 


13.5 Swift 接口 


最 后 我 们 来 介绍 如 何 实现 Swift 接口 。 


Swift 是 一 种 由 苹果 公司 在 2014 年 开发 者 大 会 (WWDC) 上 发 布 的 ，“ 强 劲 而 直观 ”的 编程 语言 ， 可 用 来 为 IJOS、Mac、 
Apple TV 和 Apple Watch 开发 app， 上 旨 在 为 开发 者 提供 充分 的 自由 。 


Swift 是 一 种 快速 而 高 效 的 语言 ， 能 够 提供 实时 反馈 ， 而 且 可 以 被 无 颖 集成 到 现 有 的 Objective-C 代 码 中 ， 因 此 ， 开 发 者 能 
编写 安全 而 可 靠 的 代码 ， 并 在 节省 时 间 的 同时 ， 创 造 出 非常 丰富 的 App 体 验 。 


2015 年 12 月 4 日 ， 苹 果 公 司 宣布 其 Swift 编程 语言 开放 源 代 码 ， 长 600 多 页 的 The Swift Programming Language 可 以 在 线 
免费 下 载 。 与 此 同时 ，Swift 编 程 语言 现 已 支持 Linux 操 作 系 统 ， 预 计 在 不 久 的 将 来 会 支持 更 多 的 平台 。 我 们 在 本 节 当 中 ， 采 用 
Linux 操 作 系统 作为 开发 平台 ， 编 写 可 以 在 Linux 之 行 的 Swift 代码 。 


13.6 本章 小 结 


本 章 我 们 首先 介绍 了 通用 的 C 语 言 接口 ， 详 细 讲 解 了 如 何 实现 C 语 言 的 元 组 接口 、 消 息 源 接口 、 消 息 处 理 单元 接口 、 计 算 拓 
扑 接口 。 


然后 我 们 介绍 了 如 何在 C 语 言 接 口上 实现 Python 接口 。 详 细 讲 解 并 演示 了 ctypes 库 的 使 用 方法 。 使 用 ctypes 库 实现 了 与 C 语 
言 接口 的 对 接 。 

接着 我 们 介绍 了 Node、V8， 以 及 JavaScript 与 C/C++ 集成 的 方法 。 然 后 讲解 并 演示 了 如 何在 JavaScript 中 和 Ci 语言 接口 对 
接 ， 以 及 使 用 JavaScript 编 写 的 Topology 示 例 。 


接 下 来 我 们 讲解 了 如 何 使 用 JNI 实 现 Java 与 C 语 言 的 对 接 ， 定 义 并 实现 了 Java 接 口 。 最 后 同样 使 用 示例 来 演示 如 何在 Java 中 
编写 Hurricane 实 时 处 理 系统 的 Topology。 


最 后 我 们 介绍 了 新 兴 的 Swift 编程 语言 ，Swift 是 由 苹果 主导 开发 并 开源 的 语言 ， 该 语言 提供 了 强大 的 REPL 环 境 ， 同 时 又 兼 
具 跨 平台 的 特性 ， 我 们 可 以 在 Linux 直 接 运 行 编写 并 编译 后 的 二 进 制 文件 。 而 且 它 能 非常 容易 地 调用 C 语 言 编写 的 接口 。 在 本 章 
的 最 后 ， 我 们 探讨 了 在 Swift 语言 中 实现 与 C 接 口 对 接 的 方法 。 


实现 高 级 抽象 元 语 
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14.1 Storm Trident 介 绍 


在 Apache Storm 中 ， 除 了 我 们 平常 使 用 的 Bolt/Spout 这 类 接口 外 ， 还 有 一 种 高 层次 实时 处 理 抽象 一 一 Trident。 


Trident 非 常 强 大 ， 支 持 通过 低 延 时 的 分 布 式 查询 ， 实 现 高 吞吐 量 而 且 有 状态 的 流 处 理 。 对 于 那些 使 用 过 Hadoop， 而 且 非 
常熟 悉 Pig 以 及 Cascading 这 类 高 级 接口 的 人 来 说， 肯定 也 会 觉得 Trident 的 接口 非常 熟悉 一 一 Trident 同 样 也 有 join、 
aggregation、grouping、function 和 filter。 除 此 以 外 ，Trident 同 时 也 支持 在 数据 库 支持 的 基础 上 进行 有 状态 、 增 量 式 的 处 
理 。Trident 还 具有 高 一 致 性 、exactly-once 语 义 ， 因 此 我 们 可 以 很 容易 编写 出 Trident 拓 扑 结构 。 


本 章 将 会 介绍 Trident 的 概念 ， 并 阐述 如 何在 Hurricane 实 时 处 理 系 统 中 实现 与 storm Trident 类 似 的 高 级 抽象 元 语 一 一 
Squared, 
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14.1 Storm Trident 介 绍 


在 Apache Storm 中 ， 除 了 我 们 平常 使 用 的 Bolt/Spout 这 类 接口 外 ， 还 有 一 种 高 层次 实时 处 理 抽象 一 一 Trident。 


Trident 非 常 强 大 ， 支 持 通过 低 延 时 的 分 布 式 查询 ， 实 现 高 吞吐 量 而 且 有 状态 的 流 处 理 。 对 于 那些 使 用 过 Hadoop， 而 且 非 
常熟 悉 Pig 以 及 Cascading 这 类 高 级 接口 的 人 来 说， 肯定 也 会 觉得 Trident 的 接口 非常 熟悉 一 一 Trident 同 样 也 有 join、 
aggregation、grouping、function 和 filter。 除 此 以 外 ，Trident 同 时 也 支持 在 数据 库 支 持 的 基础 上 进行 有 状态 、 增 量 式 的 处 
理 。Trident 还 具有 高 一 致 性 、exactly-once 语 义 ， 因 此 我 们 可 以 很 容易 编写 出 Trident 拓 扑 结构 。 


本 章 将 会 介绍 Trident 的 概念 ， 并 阐述 如 何在 Hurricane 实 时 处 理 系统 中 实现 与 Storm Trident 类 似 的 高 级 抽象 元 语 一 一 
Squared, 


14.2 Squared SIN 


现在 我 们 来 看 Squared 的 实现 。 在 Hurricane 中 ， 模 拟 实现 了 一 个 简化 版 本 的 Squared， 但 是 在 功能 接口 上 基本 都 没有 少 ， 
只 是 没有 进行 过 多 的 调度 优化 ， 也 没有 实现 那么 多 的 原生 操作 。 


14.3 ABE 


本 章 我 们 介绍 了 Trident 的 概念 和 接口 ， 并 前 述 了 Hurricane 中 Squared 的 设计 与 实现 ， 让 读者 了 解 基 于 实时 处 理 系统 的 高 层 
接口 应 该 如 何 设 计 。 


我 们 首先 介绍 了 SquaredTopology 和 Spout 的 实现 ， 解 决 了 Topology 中 元 组 发 送 的 问题 。 我 们 会 发 现在 Squared 中 发 送 的 
元 组 需要 携带 更 多 信息 ， 以 实现 更 多 的 协调 功能 。 


接着 我 们 介绍 了 SquaredBolt， 这 是 所 有 Bolt 的 基 类 ， 其 他 的 各 种 流 操作 都 需要 在 SquaredBolt 的 基础 上 实现 。 
然后 我 们 介绍 了 stream 的 概念 ， 并 设计 实现 了 Stream 类， 完成 了 对 数据 流 概念 的 封装 。 


接 下 来 我 们 介绍 了 状态 存储， 状态 存储 既 可 以 帮助 我 们 存储 管理 状态 ， 重 启 服务 时 立即 恢复 计算 状态 ， 同 时 也 为 DRPC 提 供 
了 可 供 查 询 的 基础 。 


然后 我 们 介绍 了 DRPC 的 实现 ， 讨 论 了 如 何在 Squared 中 基于 Squared 的 状态 实现 我 们 的 DRPC 查 询 ， 并 探讨 了 DRPC 服 务 器 
与 客户 端的 简单 实现 。 


最 后 我 们 介绍 了 目前 支持 的 操作 类 型 ， 并 实现 了 这 些 操作 ， 同 时 也 在 SquardBolt 的 基础 上 实现 了 所 有 的 流 操作 ， 至 此 完成 
了 整个 Squared。 
第 15 章 ”实战 : 日 志 流 处 理 
15.1 日 志 流 处 理 放 RIAs 


在 编写 代码 之 前 ， 我 们 先 来 进行 


系统 设计 。 我 们 将 会 从 以 下 几 个 部 分 讲解 系统 设计 方案 。 


1) 整体 流程 : 阐述 日 志 流 处 理 的 整体 流程 ， 曾 述 系 统 中 的 各 个 组 件 ， 以 及 不 同 组 件 之 间 的 调用 顺序 与 天 系 。 
2) 收集 日 志 : 介绍 收集 日 志 的 原理 和 流程 。 
3) 处 理 日 志 : 介绍 处 理 日 志 的 原理 和 流程 。 


4) 存储 结果 


BR: 介绍 存储 结果 的 模块 ， 以 及 我 们 需要 将 数据 存放 到 哪些 位 置 。 


我 们 整体 的 处 理 流程 如 图 15-1 所 示 。 






















































Meshy 日 志 接 口 
> 消息 源 上 日 志 规 则 索引 器 — ElasticSearch 
3 . vA 计数 器 Cassandra 
日 志 代理 日 志 收集 服务 接口 Hurricane 计 算 拓扑 计数 和 í issandra 
图 15-1 整体 处 理 流 程 


(1) 收集 日 志 


业务 系统 调用 日 志 接 口 ， 将 日 志 信息 异步 写 入 到 特定 的 文件 中 。 使 用 永 不 停息 的 日 志 检测 程序 不 断 将 新 生成 的 日 志 发 送 到 数 


据 处 理 服务 器 。 
(2) 处 理 日 志 


首先 数据 处 理 服务 器 的 日 志 接口 负责 将 日 志 写 入 本 地 的 Redis 数 据 库 中 。 然 后 我 们 使 用 消息 源 从 Redis 中 读 取 数 据 ， 再 将 数据 
发 送 到 之 后 的 消息 处 理 单 元 ， 由 不 同 的 数据 处 理 单元 对 日 志 进 行 不 同 处 理 。 


(3) 存储 结果 


消息 处 理 单元 完成 日 志 处 理 之 后 ， 将 日 志 处 理 结果 写 入 到 Cassandra 数 据 库 中 ， 并 将 日 志 数 据 写 入 到 ElasticSearch 数 据 库 
中 。 


1. 收 集 日 志 
收集 日 志 分 为 以 下 几 步 。 


1) 程序 通过 Meshy 日 志 接 口 将 日 志 写 入 日 志文 件 中 。Meshy 日 志 接 口 属于 非 阻塞 的 异步 写 入 接口 ， 日 志 接 口 的 调用 方 只 是 
将 日 志 送 入 某 个 队列 中 ， 然 后 继续 向 下 执行 。 


2) 接着 Meshy 的 日 志 写 入 线程 从 消息 队列 中 读 取 数 据 ， 并 将 日 志 数 据 写 入 到 真正 的 日 志文 件 中 。 


3) 写 入 后 ， 某 一 个 日 志 代 理 程序 会 不 断 监视 日 志文 件 的 改动 ， 并 将 用 户 新 写 入 的 日 志 信息 发 送 到 日 志 处 理 服务 器 的 日 志 收 
集 服 务 接 口上 。 


4) 日 志 收 集 服务 接口 是 整个 服务 的 对 外 接口 ， 负 责 将 其 他 节点 发 送 的 日 志 信 息 送 入 集群 内 部 的 Redis 节 点 ， 并 将 日 志 数据 
写 入 到 Redis 的 列表 中 。 至 此 为 止 ， 日 志 收 集 过 程 就 完成 了 。 


2. 处 理 日 志 
接 下 来 是 处 理 日 志 ， 处 理 日 志 主 要 在 Hurricane 计 算 拓扑 中 完成 ， 分 为 以 下 4 步 。 


1) 日 志 处 理 消息 源 : 负责 监视 Redis 列 表 的 改变 ， 从 Redis 列 表 中 读 取 日 志 规 则 ， 并 将 日 志 规 则 文本 转换 成 Hurricane 元 
组 ， 传 送 到 下 一 个 日 志 处 理 单元 。 


2) 日 志 规 则 引擎 : 使 用 日 志 规 则 引擎 对 日 志 进行 处 理 和 过 滤 。 这 一 步 是 可 选 的 ， 也 就 是 用 户 可 以 加 入 自己 的 消息 处 理 单元 
对 收集 的 日 志 进行 处 理 。 这 将 会 影响 到 发 送 到 后 续 的 消息 处 理 单元 (索引 器 和 计数 器 ) 中 的 日 志 消 息 。 这 一 步 我 们 就 不 做 处 理 
了 ， 如 果 读 者 感 兴趣 可 以 自己 加 入 一 个 或 者 多 个 消息 处 理 单 元 对 日 志 进 行 处 理 。 


3) 索引 : 这 一 步 必 不 可 少 ， 用 于 将 日 志 规 则 引擎 输出 的 日 志 写 入 到 ElasticSearch 中 ， 并 便于 用 户 日 后 检索 这 些 日 志 。 这 里 
涉及 将 日 志 规 则 元 组 转换 成 JSJON， 并 将 JSON 写 入 ElasticSearch。 


4) 统计 : 这 一 步 也 非常 重要 ， 用 于 对 日 志 进 行 计数 ， 这 一 步 会 将 日 志 计 数 结果 写 入 Cassandra 的 对 应 表 中 ， 便 于 用 户 获取 
统计 信息 。 


3. 人 存储 结果 
最 后 就 是 对 计算 结果 的 存储 ， 我 们 需要 使 用 存储 模块 将 数据 写 入 到 不 同 的 数据 库 中 。 
1) ElasticSearch: 该 数据 库 用 于 存储 被 转换 成 JJON 的 原始 日 志 信息 。 用 户 可 以 在 Elasticsearch 中 检索 日 志 。 


2) Cassandra: 该 数据 库 用 于 存储 日 志 的 统计 结果 。 因 为 Cassandra 支 持原 子 计 数列 ， 因 此 非常 胜任 这 个 工作 。 
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15.1 “日 志 流 处 理 设计 方案 


在 编写 代码 之 前 ， 我 们 先 来 进行 系统 设计 。 我 们 将 会 从 以 下 几 个 部 分 讲解 系统 设计 方案 。 

1) 整体 流程 : 阐述 日 志 流 处 理 的 整体 流程 ， 前 述 系 统 中 的 各 个 组 件 ， 以 及 不 同 组 件 之 间 的 调用 顺序 与 关系 。 
2) 收集 日 志 : 介绍 收集 日 志 的 原理 和 流程 。 

3) 处 理 日 志 : 介绍 处 理 日 志 的 原理 和 流程 。 

4) 存储 结果 : 介绍 存储 结果 的 模块 ， 以 及 我 们 需要 将 数据 存放 到 哪些 位 置 。 


我 们 整体 的 处 理 流程 如 图 15-1 所 示 。 
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(1) 收集 日 志 


业务 系统 调用 日 志 接 口 ， 将 日 志 信息 异步 写 入 到 特定 的 文件 中 。 使 用 永 不 停息 的 日 志 检测 程序 不 断 将 新 生成 的 日 志 发 送 到 数 
据 处 理 服务 器 。 


(2) 处 理 日 志 


首先 数据 处 理 服务 器 的 日 志 接口 负责 将 日 志 写 入 本 地 的 Redis 数 据 库 中 。 然 后 我 们 使 用 消息 源 从 Redis 中 读 取 数 据 ， 再 将 数据 
发 送 到 之 后 的 消息 处 理 单 元 ， 由 不 同 的 数据 处 理 单元 对 日 志 进行 不 同 处 理 。 


(3) 存储 结果 


消息 处 理 单元 完成 日 志 处 理 之 后 ， 将 日 志 处 理 结果 写 入 到 Cassandra 数 据 库 中 ， 并 将 日 志 数 据 写 入 到 ElasticSearch 数 据 库 


1. 收 集 日 志 
收集 日 志 分 为 以 下 几 步 。 


1) 程序 通过 Meshy 日 志 接 口 将 日 志 写 入 日 志文 件 中 。Meshy 日 志 接 口 属于 非 阻塞 的 异步 写 入 接口 ， 日 志 接 口 的 调用 方 只 是 
将 日 志 送 入 某 个 队列 中 ， 然 后 继续 向 下 执行 。 


2) 接着 Meshy 的 日 志 写 入 线程 从 消息 队列 中 读 取 数据 ， 并 将 日 志 数 据 写 入 到 真正 的 日 志文 件 中 。 


3) 写 入 后 ， 某 一 个 日 志 代 理 程序 会 不 断 监视 日 志文 件 的 改动 ， 并 将 用 户 新 写 入 的 日 志 信息 发 送 到 日 志 处 理 服务 器 的 日 志 收 
集 服 务 接 口上 。 

4) 日 志 收 集 服务 接口 是 整个 服务 的 对 外 接口 ， 负 责 将 其 他 节点 发 送 的 日 志 信 息 送 入 集群 内 部 的 Redis 节 点 ， 并 将 日 志 数 据 
写 入 到 Redis 的 列表 中 。 至 此 为 止 , 日 志 收 集 过 程 就 完成 了 。 


2. 处 理 日 志 
接 下 来 是 处 理 日 志 ， 处 理 日 志 主 要 在 Hurricane 计 算 拓扑 中 完成 ， 分 为 以 下 4 步 。 


1) 日 志 处 理 消息 源 : 负责 监视 Redis 列 表 的 改变 ， 从 Redis 列 表 中 读 取 日 志 规则 ， 并 将 日 志 规 则 文本 转换 成 Hurricane 元 
组 ， 传 送 到 下 一 个 日 志 处 理 单元 。 


2) 日 志 规 则 引 警 : 使 用 日 志 规 则 引擎 对 日 志 进行 处 理 和 过 滤 。 这 一 步 是 可 选 的 ， 也 就 是 用 户 可 以 加 入 自己 的 消息 处 理 单元 
对 收集 的 日 志 进行 处 理 。 这 将 会 影响 到 发 送 到 后 续 的 消息 处 理 单元 (索引 器 和 计数 器 ) 中 的 日 志 消 息 。 这 一 步 我 们 就 不 做 处 理 
了 ， 如 果 读 者 感 兴趣 可 以 自己 加 入 一 个 或 者 多 个 消息 处 理 单 元 对 日 志 进 行 处 理 。 


3) 索引 : 这 一 步 必 不 可 少 ， 用 于 将 日 志 规则 引擎 输出 的 日 志 写 入 到 ElasticSearch 中 ， 并 便于 用 户 日 后 检索 这 些 日 志 。 这 里 
涉及 将 日 志 规 则 元 组 转换 成 JSJON， 并 将 JSON 写 入 ElasticSearch。 


4) 统计 : 这 一 步 也 非常 重要 ， 用 于 对 日 志 进 行 计数 ， 这 一 步 会 将 日 志 计 数 结果 写 入 Cassandra 的 对 应 表 中 ， 便 于 用 户 获取 


统计 信息 。 
3. 人 存储 结果 
最 后 就 是 对 计算 结果 的 存储 ， 我 们 需要 使 用 存储 模块 将 数据 写 入 到 不 同 的 数据 库 中 。 
1) ElasticSearch: 该 数据 库 用 于 存储 被 转换 成 JSON 的 原始 日 志 信 息 。 用 户 可 以 在 ElasticSearch 中 检索 日 志 。 


2) Cassandra: 该 数据 库 用 于 存储 日 志 的 统计 结果 。 因 为 Cassandra 支 持原 子 计 数列 ， 因 此 非常 胜任 这 个 工作 。 


15.2 Topology 


现在 我 们 需要 来 实现 Topology， 包 括 以 下 几 个 组 件 。 
1) Redis 消 息 源 : 负责 从 Redis 中 不 断 读 取 数 据 ， 并 将 数据 转换 成 Hurricane 元 组 ， 将 元 组 送 入 下 一 级 的 消息 处 理 单元 中 。 


2) 日 志 规 则 过 滤 消 息 处 理 单元 : 负责 根据 日 志 规 则 处 理 并 过 滤 日 志 。 这 里 我 们 简单 地 将 日 志 直 接送 入 下 一 级 的 消息 处 理 单 
元 中 。 用 户 可 以 根据 实际 的 需求 自行 扩展 这 个 消息 处 理 单元 。 


3) 日 志 索 引 消 息 处 理 单元 : 负责 将 上 一 级 传输 过 来 的 元 组 转变 成 JSJON 字 符 串 ， 并 将 字符 串通 过 ElasticSearch 模 块 ， 将 数 
据 写 入 到 ElasticSearch 中 。 


4) 日 志 计 数 消 息 处 理 单 元 : 负责 将 上 一 级 传输 过 来 的 元 组 根据 字段 分 类 统计 数量 ， 并 通过 Cassandra 模 块 原子 地 更 新 
Cassandra 中 统计 表 的 计数 。 


这 几 个 模块 之 间 的 关系 如 图 15-2 所 示 。 





日 志 索 引 消息 处 理 单元 





Redis 消 息 源 日 志 规则 过 滤 消 息 处 理 单元 


志 计 数 消 息 处 理 单 元 








图 15-2 ”模块 关系 图 


15.3 ”本章 小 结 


本 章 我 们 介绍 了 日 志 流 处 理 的 概念 与 基本 方法 ， 介 绍 了 日 志 流 处 理 的 整体 流程 ， 以 及 流程 中 的 具体 实现 思路 。 最 后 我 们 基于 
Hurricane 详 细 实 现 了 日 志 流 处 理 ， 并 介绍 了 如 何 整合 我 们 自己 编写 的 ElasticSearch 模 块 。 


第 16 章 ”实战 : 频繁 组 合 查找 


16.1 背景 介绍 


本 章 的 实战 内 容 是 频繁 组 合 查 找 。 可 能 许多 读者 对 这 方面 的 知识 不 太 了 解 ， 因 此 在 讲解 程序 之 前 ， 我 们 需要 先 来 了 解 部 分 背 
景 知识 ， 这 部 分 背景 知识 包含 以 下 内 容 。 

1) 数据 挖掘 概念 。 

2) 关联 规则 和 频繁 项 集 。 


3) 应 用 实例 。 


第 16 章 ”实战 : 频繁 组 合 查找 


16.1 背景 介绍 


本 章 的 实战 内 容 是 频繁 组 合 查找 。 可 能 许多 读者 对 这 方面 的 知识 不 太 了 解 ， 因 此 在 讲解 程序 之 前 ， 我 们 需要 先 来 了 解 部 分 背 
景 知识 ， 这 部 分 背景 知识 包含 以 下 内 容 。 


1) 数据 挖掘 概念 。 
2) 关联 规则 和 频繁 项 集 。 


3) 应 用 实例 。 


16.2 ”频繁 二 项 集 挖 握 方法 


我 们 这 里 需要 实现 的 算法 很 简单 ， 就 是 频繁 二 项 集 的 挖掘 。 我 们 将 会 先 阐述 频繁 二 项 集 的 概念 ， 然 后 描述 一 下 算法 的 设计 思 
路 ， 接 着 思考 一 下 如 何 使 用 Hurricane 的 模型 实现 这 个 算法 。 最 后 使 用 Hurricane 实 现 这 套 算 法 。 


16.3 ”编写 Spout 


我 们 首先 来 编写 Spout。Spout 的 作用 主要 是 采集 数据 并 生成 元 组 。 我 们 需要 使 用 Spout 完 成 以 下 任务 。 
1) 实时 监视 Redis 数 据 库 改 动 。 

2) 当 Redis 中 有 新 数据 时 ， 将 数据 转换 为 元 组 发 送出 去 。 

现在 我 们 来 看 看 OrderSpout， 如 代码 清单 16-2 所 示 。 


代码 清单 16-2 ”OrderSpout 定 义 




















1 class OrderSpout : public ISpout { 
2 public: 
3 OrderSpout (const std::string& host, int32_t port) 
4 _host (host), _port (port) { 
z } 
6 
7 void Open (OutputCollector& outputCollector) override { 
8 _collector = &outputCollector; 
9 _redox.connect (host, port); 
10 } 
11 
12 void Execute() override { 
13 std::string content = redox.rpop ("orders"); 
14 
15 JSONObject obj = ParseJSON (content); 
16 std::string id = obj.getString(FieldNames: : ID); 
17 JSONArray items = obj.getArray (FieldNames: : ITEMS) ; 
18 
19 for ( JSONObject item : items ) { 
20 std::string name = item.getString(FieldNames: : NAMB) ; 
21 int count = Stoi(item.getString (FieldNames: :COUNT) ) ; 
22 
23 collector->Emit (Values ({id, name, count})); 
24 if ( _redox.hexists("itemCounts", name) ) { 
25 _redox.hincrBy("itemCounts", name, 1); 
26 } 
27 else { 
28 _redox.hset ("itemCounts", name, "1"); 
29 } 
30 } 
3l } 
32 
33 void DeclareOutputFields() override { 
34 return Fields ({ 


35 FieldNames: : ID, 





36 FieldNames: :NAME, 











37 FieldNames : : COUNT 
38 He 

39 } 

40 

41 private: 

42 OutputCollector* collector; 
43 private Redox redox; 

44 private std::string host; 

45 int32 七 port; 

46 he 


该 消息 源 会 通过 Redox 不 断 从 Redis 数 据 库 中 获取 新 的 商品 项 ， 并 将 商品 项 的 信息 转换 成 元 组 发 送出 去 。 该 消息 源 的 元 组 有 3 
个 字段 ， 分 别 代表 商品 项 的 编号 、 商 品 项 的 名 称 、 商 品 项 的 数量 。 


接着 我 们 来 看 看 CommandSpout， 该 类 负责 向 集群 定时 发 送 命令 ， 启 动 统计 操作 ， 如 代码 清单 16-3 所 示 。 


代码 清单 16-3 CommandSpoutze SZ 


class CommandSpout : public ISpout { 
public: 
void Open (OutputCollectoré& outputCollector) override { 
_collector = &0utputCollector; 


} 





void Execute() override { 
std: :this thread.sleep for(std::choron: :millisecond (5000) ) ; 
_collector->Emit (Values ("statistic"); 





} 





void DeclareOutputFields() override { 
return Fields ({FieldNames: :COMMAND}) ; 
} 


private: 
OutputCollector* collector; 
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}; 


该 消息 源 每 隔 5000 毫 秒 向 集群 发 送 一 次 消息 ， 这 个 消息 是 一 个 命令 ,指示 集群 的 消息 处 理 单元 开始 进行 统计 运算 。 


16.4 编写 Bolt 


为 了 完成 这 个 看 起 来 简单 的 功能 ， 我 们 需要 设计 并 开发 许多 Bolt， 每 个 Bolt 完 成 各 自 的 一 项 功能 ， 参 照 我 们 的 算法 设计 ， 我 
们 需要 开发 的 Bolt 有 以 下 几 种 。 


1) SplitBolt: 完成 对 数据 的 分 组 ， 生 成 所 有 的 二 项 集 。 
2) PairCountBolt: 完成 对 二 项 集 的 频数 统计 。 

3) PairTotalCountBolt: 完成 所 有 二 项 集 的 统计 。 

4) ConfidenceComputeBolt: 完成 置信 和 度 的 计算 。 
5) SupportComputeBolt: 完成 支持 度 的 计算 。 

6) FilterBolt: 根据 置信 度 和 支持 度 过 滤 数 据 。 


现在 我 们 来 看 看 这 些 消息 处 理 单 元 的 实现 。 


16.5 编写 Topology 


完成 了 所 有 的 消息 源 和 消息 处 理 单元 后 ， 我 们 需要 将 这 些 消 息 源 与 消息 处 理 单元 组 装 起 来 。 这 些 消息 源 与 消息 处 理 单 元 的 关 
系 图 如 图 16-1 所 示 。 





























CountBolt 
CountBolt 


SplitBolt =) 


SortBolt 
SortBolt 


a 














FilterBolt 





y 
人 


OrderSpout ombineBolt 





/ SplitBolt f : (ComputeBolt 
Wd CountBolt 人 
omputeBolt 


CountBolt 


FilterBolt 





ss 





图 16-1 Topology 关 系 图 


16.6 本章 小 结 


本 章 我 们 实现 了 一 个 基于 频繁 组 合 查找 的 完整 频繁 二 项 集 挖 掘 系 统 ， 读 者 应 当 掌 握 了 以 下 知识 。 
1) 数据 挖掘 基本 概念 和 方法 。 

2) 频繁 项 集 挖掘 概念 与 用 途 。 

3) 频繁 二 项 集 挖 掘 算法 原理 与 实现 。 

4) 分 布 式 统计 方法 。 


读者 在 学 习 完 这 些 知 识 后 已 经 可 以 自己 独立 开发 一 个 简单 的 频繁 二 项 集 挖 掘 系 统 了 。 大 家 可 以 自行 学 习 数据 挖掘 及 机 器 学 习 
相关 的 知识 ， 并 使 用 Hurricane 实 现 相应 算法 。 


第 17 章 ”实战 : 在 AWS 和 阿里 云 上 部 署 Hurricane 实 时 处 理 系统 


我 们 已 经 用 了 很 多 篇 幅 来 讲解 如 何 编写 一 套 分 布 式 实时 处 理 系统 ， 从 底层 通信 到 高 层次 架构 设计 ， 我 们 设计 的 系统 可 以 运行 
和 处 理 我 们 期 望 得 到 的 结果 。 但 是 ， 如 果 不 能 把 系统 应 用 到 实际 生产 环境 中 ， 那 么 这 一 切 都 还 只 能 算是 纸上谈兵 。 幸 运 的 是 , 我 
们 所 设计 的 系统 能 够 非常 简单 地 部 署 到 实际 环境 中 。 在 本 章 中 ， 我 们 将 以 AWS 和 阿里 云 作 为 基础 云 服务 平台 ， 从 最 基本 的 环境 
搭建 到 分 布 式 系统 部 署 ， 逐 一 介绍 在 实际 生产 环境 中 部 署 分 布 式 系统 或 服务 器 的 最 基本 方法 。 需 要 注意 的 是 ， 实 际 部 署 一 套 计 算 
拓扑 的 方法 有 很 多 ， 并 不 局 限于 本 章 所 讲解 的 内 容 。 你 可 能 还 对 AWS 和 阿里 云 有 些 陌生 ， 不 过 不 要 紧 ， 我 们 马上 就 会 来 详细 介 
绍 它们 的 基本 概念 。 


17.1 AWS 部 署 


Amazon Web Services (AWS) 是 一 个 安全 的 云 服 务 平台 ， 提 供 计算 能 力 、 数 据 库存 储 、 内 容 交 付 以 及 其 他 功能 来 帮助 实 
现 业务 扩展 和 增长 ， 了 解数 以 百 万 计 的 客户 目前 如 何 利用 AWS 云 产品 和 解决 方案 来 构建 灵活 性 、 可 扩展 性 和 可 靠 性 更 高 的 复杂 
应 用 程序 。AWS 云 提供 了 各 种 各 样 的 基础 设施 服务 ， 如 计算 能 力 、 存 储 选项 、 联 网 和 数据 库 等 实用 服务 : 按 需 交付 、 即 时 可 
用 、 采 用 按 使 用 量 付费 定价 模式 。 


使 用 AWS 只 需 单 击 几 次 鼠标 即 可 享受 ?0 多 种 服务 ， 从 数据 仓库 到 部 署 工具 、 从 目录 到 内 容 分 发 无 一 例外 。 新 服务 可 以 快速 
配置 ， 无 需 前 期 资金 成 本 ， 支 持 企业 、 初 创 公司 、SMB 和 公共 部 门客 户 访问 所 需 的 构建 块 ， 以 快速 响应 不 断 变化 的 业务 要 求 。 


在 本 章 中 ， 我 们 将 探究 交付 Hurricane 解 决 方案 到 Amazon Web Services 的 Elastic Compute Cloud (AWS EC2) 的 方 
法 。 我 们 有 很 多 优秀 的 平台 即 服务 (PaaS) 提供 商 可 供 选 择 和 使 用 ， 而 且 多 数 提供 的 服务 都 非常 好 ， 兼 具 高 可 用 性 和 自动 化 。 
尤其 是 近年 来 国内 优秀 的 云 服务 厂商 越 来 越 多 。 本 书 选择 AWS 和 阿里 云 的 原因 很 简单 ， 因 为 它们 提供 的 服务 价格 合理 ， 并 且 容 
易学 习 和 上 手 。 


在 本 章 中 ， 我 们 将 从 基础 的 环境 搭建 开始 ， 途 经 子 网 配置 、 安 全 组 设置 等 操作 ， 直 至 完成 虚拟 私有 云 (Virtual Private 
Cloud, VPC) 的 搭建 工作 。 我 们 将 使 用 git 代 码 仓库 存储 需要 部 署 的 代码 ， 并 使 用 rsync 同 步 脚 本 与 配置 文件 ， 自 己 编写 简单 的 
自 定义 部 署 脚本 完成 Hurricane 和 相关 服务 的 自动 部 署 。 在 实际 的 生产 环境 交付 过 程 中 ， 我 们 在 这 里 讲解 的 概念 与 方法 都 非常 实 
用 。 


因此 ， 关 键 是 要 了 解 这 些 工具 和 概念 ， 它 们 能 够 帮助 你 高 效 、 安 全 地 部 署 Hurricane 到 你 可 能 遇 到 的 任何 产品 环境 中 。 作 为 
本 章 的 补充 ， 你 还 将 了 解 基 于 AWS 构 建安 全 产品 环境 的 方法 ， 有 可 能 你 会 在 特定 实现 中 应 用 这 个 方法 。 


Amazon 对 于 虚拟 私有 云 的 定义 如 下 。 


Amazon 虚 拟 私 有 云 (Amazon VPC) 允许 你 在 AWS 云 中 预 配置 出 一 个 采用 逻辑 隔离 的 部 分 ， 让 你 在 自己 定义 的 虚拟 网 络 中 局 
动 AWS 资 源 。 你 可 以 完全 掌控 您 的 虚拟 联网 环境 ， 包 括 选 择 自 有 的 IP 地 址 范围 ， 创 建 子 网 ， 以 及 配置 路 由 表 和 网 关 。 


虚拟 私有 云 是 AWS 云 计算 服务 所 提供 的 极其 强大 的 功能 。 你 可 以 通过 它 实现 企业 级 的 开发 和 产品 环境 ， 该 环境 是 安全 、 隔 
离 并 安全 连接 到 你 的 个 人 内 部 网 络 中 的 。 网 络 层 隔离 对 产品 系统 的 长 期 安全 性 来 说 非常 重要 。 


典型 的 企业 解决 方案 由 多 个 网 络 层 构成 ， 每 层 又 有 多 个 不 同 的 安全 访问 层 ， 这 些 安 全 访问 层 是 为 了 保护 系统 中 最 为 重要 的 部 


分 而 实现 的 。 有 多 种 企业 架构 解决 方案 可 供 我 们 选择 ， 为 了 展示 企业 解决 方案 中 的 这 种 隔离 网 络 架构 的 特性 ， 我 们 的 解决 方案 中 
需要 包含 一 个 传统 Web 应 用 程序 ， 该 程序 能 够 将 事件 异步 发 送 给 Hurricane 集 群 进行 处 理 。 


部 署 架构 如 图 17-1 所 示 。 


在 网 络 层 中 ， 解 决 方案 的 各 种 功能 均 是 被 隔离 的 。 面 向 公众 的 子 网 通过 负载 均衡 和 Elastic IP Address 使 Web 服 务 器 处 于 可 
用 状态 。 应 用 服务 器 被 隔离 在 它们 自己 的 子 网 中 运行 ， 通 过 防火 墙 规则 实现 的 隔离 可 以 保证 内 连接 均 来 自 预先 定义 的 Web 子 网 
的 IP 和 端口 。 这 些 连 接 也 是 基于 Web 和 应 用 服务 器 间 的 适当 加 密 来 建立 的 。 这 样 可 以 确保 应 用 服务 器 与 内 部 服务 的 完全 隔离 。 


再 往 下 看 ， 我 们 对 数据 库 做 了 类 似 的 处 理 ， 数 据 库 也 是 一 个 集群 。 


异步 事件 通过 Meshy 框 架 搭建 的 消息 服务 器 从 应 用 服务 器 发 布 到 了 分 析 堆 栈 。 然 后 这 些 事件 被 Hurricane 消 费 和 处 理 ， 并 作 
为 不 可 变 事 件 存 储 至 HDFS 中 。 根 据 Topology 结 构 的 不 同 ， 这 些 事件 可 能 直接 来 自 于 Meshy， 也 可 能 来 自 于 Hurricane 本 身 。 
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图 17-1 云 架构 图 


有 关 网 络 层 布局 的 内 容 不 是 本 章 或 本 节 关 注 的 重点 。 你 需要 根据 给 定 环境 的 具体 情况 来 定义 满足 功能 性 、 概 念 性 和 部 署 的 架 
构 。 在 本 节 中 ， 我 们 将 重点 展示 搭建 带 有 公共 和 私有 子 网 VPC 的 方法 。 在 下 一 节 ， 你 将 了 解 在 私有 子 网 部 署 Hurricane 集 群 的 方 
法 。 有 了 这 些 经 验 ， 你 将 具备 设计 并 实现 与 前 面 一 样 复杂 的 可 部 署 架构 的 能 力 。 在 你 的 产品 环境 中 ， 即 使 是 在 受到 监管 约束 的 环 
境 中 ， 你 也 可 以 将 Hurricane 实 时 处 理 系统 作为 天 键 的 架构 处 理 元 素 。 


17.2 ”阿里 云 部 署 


上 一 节 中 ， 我 们 介绍 了 如 何在 AWS 中 创建 虚拟 私有 云 ， 配 置 弹性 IP 地 址 ， 并 利用 SSH 登 录 部 署 Hurricane 实 时 处 理 系 统 。 


但 是 由 于 种 种 原因 ， 国 内 直接 访问 AWS 的 速度 并 不 是 那么 理想 ， 因 此 我 们 理 所 应 当选 择 另 一 个 在 国内 使 用 得 比较 多 的 云 产 


阿里 云 在 国内 有 颇 为 庞大 的 用 户 群 ， 在 国内 云 厂 商 中 ， 其 技术 实力 和 稳定 性 也 是 比较 突出 的 ， 因 此 我 们 最 后 选择 了 阿里 云 来 


进行 演示 。 


接 下 来 看 看 如 何在 阿里 云 上 配置 相关 的 虚拟 机 和 服务 吧 。 


17.3 ”Hurricane 分 布 式 部 署 与 管理 


本 节 我 们 来 讲解 Hurricane 的 分 布 式 部 署 与 管理 。 对 于 一 个 分 布 式 系统 而 言 ， 最 令 人 头痛 的 恐怕 就 是 部 署 了 。 一 般 来 说 集群 
中 的 所 有 节点 都 应 该 保持 配置 的 同步 ， 同 时 又 需要 根据 各 自 节点 类 型 完成 不 同 的 任务 。 那 么 我 们 应 该 如 何 控制 管理 集群 ， 并 且 完 
成 集群 自动 的 同步 与 部 署 呢 ? 


现在 有 许多 流行 的 虚拟 化 解决 方案 ， 如 传统 的 基于 虚拟 机 的 vagrant， 又 如 现在 非常 流行 的 Docker。 但 是 无 论 是 哪 种 解决 方 
案 ， 都 需要 依赖 于 其 他 的 系统 来 完成 部 署 ， 归 根 到 底 都 是 重量 级 的 解决 方案 。 


那么 我 们 有 什么 方法 可 以 从 零 开始 完成 分 布 式 的 自动 部 署 管理 呢 ” 这 就 是 本 节 要 讨论 的 问题 。 


174 ”部 署 分 布 式 实时 处 理 系统 


现在 我 们 已 经 了 解 了 如 何 编写 基本 的 部 署 Hurricane 实 时 处 理 系统 集群 的 脚本 。 现 在 ， 我 们 来 使 用 已 经 编写 好 的 集群 部 署 脚 
本 部 署 一 套 基 于 Hurricane 实 现 的 实时 处 理 系统 计算 拓扑 。 


首先 ， 我们 需要 安装 一 些 基本 的 运行 库 ， 这 其 中 包括 Node.js 和 git。 执 行 以 下 命令 在 Linux 上 下 载 并 安装 Node.js， 笔 者 编写 
本 书 时 Node.js 最 新 版 本 是 5.9.1， 读 者 可 以 自行 下 载 最 新 版 : 
cq /opt 


sudo wget https://nodejs.org/dist/v5.9.1/node-v5.9.1.tar.gz 
sudo tar xzf node-v5.9.1.tar.gz 


这 样 我 们 就 将 Node.js 下 载 并 安装 在 了 /opt 目 录 下 ， 完 整 路 径 是 /opt/node-v5.9.1。 


接着 我 们 将 node 的 可 执行 文件 路 径 写 入 用 户 配 置 文件 中 : 
export PATH="$ {PATH} :/opt/node-v5.9.1/bin" 


然后 重启 Shell， 现 在 就 可 以 执行 node 进 入 node 的 REPL， 这 样 就 说 明 Node.js 已 经 安装 完成 。 


接 下 来 我 们 来 安装 git。 如 果 用 户 和 笔者 一 样 使 用 的 是 Ubuntu 或 者 Ubuntu 的 衍生 版 ， 可 以 直接 使 用 apt-get 安 装 git， 只 需 


1 “NTT 
要 执行 命令 : 
sudo apt-get install git 


同时 ,我 们 还 需要 在 所 有 机 器 上 安装 OpenSSH 服 务 器 ， 以 支持 其 他 机 器 远程 登录 并 执行 命令 : 


sudo apt-get install openssh-server 








接 下 来 我 们 为 每 一 台 计 算 节 点 配置 免 密 码 登 录 ， 以 支持 President 登 录 Manager 所 在 的 机 器 进行 部 署 并 启动 Manager。 我 
们 曾 在 17.3.2 节 中 介绍 了 免 密 码 登录 的 方法 ， 请 读者 参照 该 流程 完成 免 密码 登录 配置 。 


现在 我 们 可 以 开始 进行 分 布 式 部 署 了 ， 假 定 用 户 将 Hurricane 二 进 制 包 连同 配置 文件 一 起 放 
在 https://xxx/yyy/hurricane.git 仓 库 中 。 我 们 将 配置 文件 中 的 repository 改 为 该 地 址 。 


现在 我 们 通过 SSH 访 问 President 节 点 ， 进 入 读者 希望 部 署 Hurricane 的 位 置 ， 执 行 命令 : 
git clone https://xxx/yyy/hurricane.git 


将 仓库 完整 克隆 下 来 。 现 在 我 们 已 经 在 President 中 成 功 部 署 了 Hurricane。 


接 下 来 ， 我 们 进入 hurricane 目 录 ， 执 行 命令 : 
node tools/cluster.js deploy-config 


如 果 之 前 读者 配置 正确 ， 现 在 President 节 点 将 会 利用 SSH 在 Manager 上 自动 使 用 git 拉 取代 码 到 用 户 配置 文件 中 指定 的 路 径 


现在 我 们 就 成 功 地 在 所 有 节点 上 部 署 了 Hurricane 实 时 处 理 系统 ， 并 组 成 了 计算 拓扑 。 


一 旦 用 户 更 新 了 配置 文件 ， 只 需要 将 配置 文件 提交 到 git 仓 库 中 ， 并 在 President 节 点 上 执行 以 下 命令 : 


node tools/cluster.js sync-config 


President 节 点 就 会 自动 通过 SSH 在 其 他 的 Manager 节 点 上 从 git 仓 库 同 步 最 新 的 配置 文件 ， 并 重新 读 取 配置 。 这 样 我 们 修改 
分 布 式 系统 的 配置 就 变 得 非常 轻松 民 意 了 。 


17.5 ”未 来 之 路 


在 本 章 中 ， 我 们 实现 了 一 套 基 本 的 分 布 式 实时 处 理 系统 的 部 署 脚本 并 辅 以 实战 成 功 部 署 了 计算 拓扑 。 在 实际 的 生产 环境 中 ， 
比较 流行 的 方法 是 使 用 Docker 或 者 Mesos 进 行 分 布 式 节点 的 部 署 。 但 是 这 部 分 内 容 超 出 了 本 书 讨论 的 范围 ， 如 果 读 者 感 兴趣 ， 
可 以 通过 以 下 链接 了 解 更 多 细节 。 


1) https://docs.docker.com/, 
2) http://mesos.apache.org/documentation/latest/, 


我 们 在 本 书 中 ， 通 过 Squared 高 级 抽象 元 语 实现 了 基本 的 高 级 抽象 元 语 。 由 于 高 级 抽象 元 语 的 覆盖 面 十 分 广 ， 因 此 我 们 仍然 
可 以 对 Squared 高 级 抽象 元 语 的 功能 进行 进一步 扩充 ， 让 Hurricane 实 时 处 理 系统 拥有 功能 更 加 完善 的 高 层次 抽象 元 语 ， 进 一 步 
简化 构建 计算 拓扑 的 工作 量 。 目 前 ，Squared 高 级 抽象 元 语 的 任务 分 配 机 制 较为 单一 ， 尚 未 优化 任务 分 配 的 过 程 。 对 于 部 分 流 操 
作 来 说 ， 我 们 还 可 以 在 Squared 中 增添 更 多 的 Functiom/Filter。 另 外 ， 我 们 已 经 在 quared 高 级 抽象 元 语 中 实现 了 可 靠 消息 处 理 
的 核心 算法 ， 但 是 还 需要 对 另外 一 些 异 常情 况 进 行 处 理 和 优化 ， 使 得 Hurricane 实 时 处 理 系统 更 加 健壮 。 最 后 ，Squared 高 级 抽 
象 元 语 只 实现 了 基于 内 存 的 状态 存储 机 制 ， 之 后 需要 进一步 增加 对 Memcached、Cassandra、MongoDB 等 流行 的 缓存 和 数据 
库 的 支持 ， 也 需要 进一步 丰富 状态 的 存储 与 获取 机 制 与 策略 。 


本 书目 前 讨论 的 是 基于 TCP 协 议 的 节点 通信 实现 方法 。 我 们 曾 在 第 11 章 中 为 Meshy 网 络 库 编写 了 一 套 HTTP 工 具 ， 我 们 可 以 
利用 更 高 层 的 基于 HTTP 的 RESTful APl 来 实现 更 多 的 功能 ， 如 节点 状态 监测 、 任 务 启动 与 关闭 、 集 群 参数 设置 等 。Meshy 网 络 
库 已 经 提供 了 基本 的 HTTP 支 持 ， 读 者 可 以 根据 实际 需求 使 用 Meshy 网 络 库 的 HTTP 工 具 自 己 构 建 RESTful AP1， 完 成 相关 任务 。 


本 书 讨论 的 实时 处 理 架 构 设计 与 实现 帮助 读者 深入 了 解 了 这 个 领域 的 分 布 式 系统 的 内 涵 ， 在 本 书 中 讨论 的 Hurricane 实 时 处 
理 系 统 、Meshy 网 络 框架 、Kake 构 建 系统 都 是 开源 项 目 ， 其 功能 会 在 未 来 不 断 完善 和 加 强 。 大 数据 实时 处 理 系 统 相 较 于 传统 的 
批 处 理 系统 在 实时 性 方面 拥有 着 得 天 独 厚 的 优势 ， 也 必 将 成 为 未 来 海量 数据 处 理 的 趋势 之 一 ， 拥 有 着 广阔 的 市 场 前 景 。 


17.6 ”本 章 小 结 


本 章 我 们 讲解 了 AWS 的 部 署 过 程 。 首 先 讲解 了 如 何 搭建 私有 云 ， 然 后 介绍 了 配置 安全 组 的 过 程 。 接 着 我 们 示范 创建 了 EC2 
实例 ， 以 运行 服务 器 系统 。 最 后 我 们 演示 了 如 何 配 置 弹性 IP 地 址 ， 并 远程 登录 管理 。 另 外 我 们 也 演示 了 Hurricane 的 单机 部 署 方 
法 。 


接着 我 们 讲解 阿里 云 的 部 署 过 程 。 同 样 首 先 讲解 如 何 搭建 私有 云 ， 然 后 介绍 在 阿里 云 中 管理 安全 组 的 过 程 。 接 下 来 我 们 也 创 
建 了 ESC 实 例 ， 就 和 AWS 中 的 EC2 一 样 。 接 着 我 们 演示 如 何 配置 IP 并 使 用 SSH 登 录 阿 里 云 。 


最 后 一 节 我 们 介绍 了 分 布 式 部 署 Hurricane 实 时 处 理 系统 的 原理 与 方法 。 首 先前 述 了 分 布 式 部 署 的 原理 和 基本 思路 ， 接 着 我 
们 使 用 Javascript 开 发 了 分 布 式 部 署 工 具 ， 并 引导 大 家 一 步 步 完成 这 个 分 布 式 系统 复杂 的 部 署 过 程 。 


